Zusammenfassung
- Cosmos in 10 Minuten installieren mit
pip install nvidia-cosmosoder über den NGC-Container. - Synthetische Rollouts für die Vorabschulung von Robotik-Policies generieren mit
cosmos generate --model cosmos-70b --task rollout. - Physikalische Plausibilität vor der Bereitstellung in Isaac Lab validieren mit
cosmos validate --physics-checks. - Nahtlose Pipeline von Cosmos → Isaac Lab → Bereitstellung mit keinen Code-Änderungen dank NVIDIA Omniverse-Integration.
- Kosten beginnen bei 0,50 $/GPU-Stunde (Pro-Tarif) oder kostenlos für 100 GPU-Stunden/Monat.
1. Was ist Cosmos? Vorhersage-, Transfer- und Schlussfolgerungsmodelle
NVIDIA Cosmos ist ein Welt-Foundation-Modell für Physical AI, das entwickelt wurde, um:
- Zukünftige Zustände dynamischer Umgebungen vorherzusagen (z. B. Roboterinteraktionen, Trajektorien autonomer Fahrzeuge).
- Wissen von synthetischen auf reale Daten zu übertragen (z. B. von strukturellen zu fotorealistischen Daten).
- Physikalische Zwänge zu analysieren (z. B. Kollisionsvermeidung, Energieerhaltung).
Kernkomponenten
| Modelltyp | Anwendungsfall | Beispielbefehl |
|---|---|---|
| Vorhersage | Simulation von Roboter-Trajektorien oder Pfaden autonomer Fahrzeuge. | cosmos predict --model cosmos-70b --input trajektorie.json --output zukunftszustaende/ |
| Transfer | Synthetische Daten domänenrandomisieren, um reale Verteilungen nachzubilden. | cosmos transfer --source synthetisch --target real --model cosmos-70b |
| Schlussfolgerung | Physikalische Plausibilität prüfen (z. B. „Ist diese Roboterbewegung durchführbar?“). | cosmos reason --check physics --input bewegungsdaten.npz |
Forschungszusammenhang: Cosmos 1.2 (Juni 2026) führt Unterstützung für Blackwell-GPUs und mehrstufiges Training für großskalige Physical AI-Workloads ein NVIDIA Cosmos Release Notes.
2. Zugang und die NVIDIA Open Model License
Schritt 1: Zugang beantragen
-
Registrieren Sie sich für den kostenlosen Tarif (100 GPU-Stunden/Monat) oder einen Pro-/Enterprise-Tarif:
# Navigieren Sie zum NVIDIA Cosmos-Portal curl -X POST "https://api.nvidia.com/cosmos/v1/register" \ -H "Authorization: Bearer IHR_NVIDIA_API_SCHLÜSSEL" \ -H "Content-Type: application/json" \ -d '{"email": "[email protected]", "plan": "free"}'- Ausgabe: Gibt
{"status": "approved", "api_key": "abc123..."}zurück.
- Ausgabe: Gibt
-
Installieren Sie die CLI:
pip install nvidia-cosmos --extra-index-url https://pypi.nvidia.com
Schritt 2: Lizenz akzeptieren
Cosmos nutzt die NVIDIA Open Model License (ähnlich Apache 2.0, aber mit Einschränkungen bei:
- Weitergabe vorab trainierter Modelle.
- Kommerzieller Nutzung ohne bezahlten Tarif.
- Modifikation der Kern-Trainingsprozesse.
Lizenz akzeptieren:
cosmos license accept
Erwartete Ausgabe:
Lizenz für Nutzer akzeptiert: [email protected]
Modellzugang gewährt: cosmos-70b, cosmos-vision-1.2
3. Generierung synthetischer Rollouts für die Vorabschulung von Policies
Nutzen Sie Cosmos, um synthetische Daten für die Vorabschulung von Robotik-Policies (z. B. Reinforcement Learning) zu generieren.
Schritt 1: Robotikumgebung definieren
Erstellen Sie eine robot_config.json:
{
"robot": {
"type": "ur5e",
"dof": 6,
"base_pose": [0, 0, 0.5, 0, 0, 0, 1]
},
"environment": {
"objects": [
{"type": "cube", "dimensions": [0.1, 0.1, 0.1], "pose": [0.2, 0.2, 0.1, 0, 0, 0, 1]},
{"type": "sphere", "radius": 0.05, "pose": [0.3, 0.1, 0.15, 0, 0, 0, 1]}
],
"gravity": [0, 0, -9.81]
}
}
Schritt 2: Synthetische Rollouts generieren
Führen Sie Cosmos aus, um 10.000 synthetische Trajektorien zu generieren:
cosmos generate \
--model cosmos-70b \
--task rollout \
--config robot_config.json \
--output synthetische_rollouts/ \
--num_rollouts 10000 \
--duration 10.0 # Sekunden pro Rollout
Erwartete Ausgabe:
Generiere Rollouts... [======================================] 100%
10.000 Rollouts gespeichert in synthetische_rollouts/
Dateien: synthetische_rollouts/rollout_0001.npz, ..., rollout_10000.npz
Schritt 3: Rollouts validieren
Prüfen Sie die physikalische Plausibilität (z. B. keine Kollisionen, gültige Gelenkgrenzen):
cosmos validate \
--input synthetische_rollouts/ \
--physics-checks \
--output validierungsbericht.json
Erwartete Ausgabe:
{
"gultige_rollouts": 9987,
"ungultige_grunde": [
{"type": "kollision", "anzahl": 12},
{"type": "gelenkgrenze", "anzahl": 1}
]
}
4. Cosmos-Transfer von strukturellen zu fotorealistischen Daten
Nutzen Sie Cosmos, um synthetische Daten domänenrandomisiert an reale Verteilungen anzupassen.
Schritt 1: Quell- und Ziel-Datensätze vorbereiten
- Quelle: Synthetische Daten (
synthetische_rollouts/). - Ziel: Reale Daten (
reale_rollouts/).
Schritt 2: Transfer durchführen
cosmos transfer \
--source synthetische_rollouts/ \
--target reale_rollouts/ \
--model cosmos-70b \
--output transferierte_daten/ \
--iterations 5
Erwartete Ausgabe:
Übertragung der Domäne... [======================] 100%
10.000 transferierte Samples gespeichert in transferierte_daten/
Schritt 3: Ergebnisse visualisieren
Nutzen Sie NVIDIA Omniverse, um transferierte Daten zu visualisieren:
cosmos visualize \
--input transferierte_daten/rollout_0001.npz \
--output visualisierung.usd
Öffnen Sie in Omniverse:
omniverse --scene visualisierung.usd
5. Validierung der physikalischen Plausibilität vor der Nutzung
Stellen Sie sicher, dass synthetische Daten physikalisch plausibel sind, bevor Policies trainiert werden.
Schritt 1: Physikalische Prüfungen durchführen
cosmos validate \
--input synthetische_rollouts/ \
--physics-checks \
--output physikbericht.json
Wichtige Prüfungen:
- Kollisionserkennung: Keine Überschneidungen zwischen Objekten.
- Gelenkgrenzen: Roboter-Gelenke bleiben im gültigen Bereich.
- Energieerhaltung: Keine unphysikalischen Spitzen in kinetischer/potentieller Energie.
Schritt 2: Vergleich mit realen Daten
cosmos compare \
--synthetic synthetische_rollouts/ \
--real reale_rollouts/ \
--metrics physikalische_plausibilitaet \
--output vergleich.json
Erwartete Ausgabe:
{
"physikalische_plausibilitaet": 0.92,
"metriken": {
"kollisionsrate": {"synthetisch": 0.001, "real": 0.0012},
"gelenkgrenzenverletzungen": {"synthetisch": 0.0005, "real": 0.0003}
}
}
6. Pipeline: Cosmos → Isaac Lab → Bereitstellung
Schritt 1: Cosmos-Daten nach Isaac Lab exportieren
cosmos export \
--input synthetische_rollouts/ \
--format isaac \
--output isaac_daten/
Ausgabe: Isaac Lab-kompatible .json- und .npz-Dateien.
Schritt 2: Training in Isaac Lab
Nutzen Sie das RL-Training von Isaac Lab mit exportierten Daten:
isaac lab train \
--policy ur5e_policy \
--data isaac_daten/ \
--iterations 1000
Schritt 3: Bereitstellung am Edge
Exportieren Sie die trainierte Policy auf einen Jetson Orin:
isaac lab export \
--policy ur5e_policy \
--target jetson \
--output ur5e_policy_jetson.tar
Übertragen Sie auf Jetson:
scp ur5e_policy_jetson.tar nutzer@jetson-ip:/home/nutzer/
ssh nutzer@jetson-ip "tar -xvf ur5e_policy_jetson.tar && ./ausfuehren_policy"
7. Kosten und Rechenressourcen
Rechenanforderungen
| Aufgabe | GPU-Empfehlung | Zeitabschätzung |
|---|---|---|
| 10.000 Rollouts generieren | 1x A100/H100/Blackwell | 2–4 Stunden |
| Domäne transferieren | 4x A100 (Multi-GPU) | 1–2 Stunden |
| Physik validieren | 1x CPU (kein GPU nötig) | <1 Minute |
| Training in Isaac Lab | 8x A100 (verteilt) | 6–12 Stunden |
Kostenaufstellung (Pro-Tarif)
| Ressource | Kosten (USD) |
|---|---|
| 1x A100 (1 Stunde) | $0.50 |
| 4x A100 (1 Stunde) | $2.00 |
| 8x A100 (12 Stunden) | $48.00 |
| Gesamt für Pipeline | ~$50–$100 (abhängig von Skalierung) |
Tipp: Nutzen Sie Spot-Instanzen für das Training, um die Kosten um 30–50% zu senken NVIDIA Cloud-Dokumentation.
Was kommt als Nächstes?
- Experimentieren mit Cosmos Vision: Probieren Sie
cosmos generate --task visionfür die Synthese fotorealistischer Szenen. - Integration mit LangChain: Nutzen Sie Cosmos als benutzerdefiniertes LLM für Physical AI-Schlussfolgerungen:
from langchain import LLMChain from nvidia_cosmos import CosmosLLM llm = CosmosLLM(model="cosmos-70b") chain = LLMChain(llm=llm, prompt="Erklären Sie diese Roboter-Trajektorie...") - Optimierung für Edge: Bereitstellen der Cosmos-Inferenz auf Jetson Orin mit TensorRT:
cosmos export --model cosmos-70b --target jetson --output cosmos_jetson.tar
Für Beratung zur Physical AI-Infrastruktur, einschließlich Cosmos-Integration, Bereitstellung und Kostenoptimierung, besuchen Sie die AI-Tools-Beratung von Hyperion Consulting.
