Anleitung zur Einrichtung von NVIDIA Cosmos: Ein Praktischer Leitfaden

Zusammenfassung

• Cosmos in 10 Minuten installieren mit pip install nvidia-cosmos oder über den NGC-Container.
• Synthetische Rollouts für die Vorabschulung von Robotik-Policies generieren mit cosmos generate --model cosmos-70b --task rollout.
• Physikalische Plausibilität vor der Bereitstellung in Isaac Lab validieren mit cosmos validate --physics-checks.
• Nahtlose Pipeline von Cosmos → Isaac Lab → Bereitstellung mit keinen Code-Änderungen dank NVIDIA Omniverse-Integration.
• Kosten beginnen bei 0,50 $/GPU-Stunde (Pro-Tarif) oder kostenlos für 100 GPU-Stunden/Monat.

1. Was ist Cosmos? Vorhersage-, Transfer- und Schlussfolgerungsmodelle

NVIDIA Cosmos ist ein Welt-Foundation-Modell für Physical AI, das entwickelt wurde, um:

• Zukünftige Zustände dynamischer Umgebungen vorherzusagen (z. B. Roboterinteraktionen, Trajektorien autonomer Fahrzeuge).
• Wissen von synthetischen auf reale Daten zu übertragen (z. B. von strukturellen zu fotorealistischen Daten).
• Physikalische Zwänge zu analysieren (z. B. Kollisionsvermeidung, Energieerhaltung).

Kernkomponenten

Forschungszusammenhang: Cosmos 1.2 (Juni 2026) führt Unterstützung für Blackwell-GPUs und mehrstufiges Training für großskalige Physical AI-Workloads ein NVIDIA Cosmos Release Notes.

2. Zugang und die NVIDIA Open Model License

Schritt 1: Zugang beantragen

1. Registrieren Sie sich für den kostenlosen Tarif (100 GPU-Stunden/Monat) oder einen Pro-/Enterprise-Tarif:

   # Navigieren Sie zum NVIDIA Cosmos-Portal
   curl -X POST "https://api.nvidia.com/cosmos/v1/register" \
     -H "Authorization: Bearer IHR_NVIDIA_API_SCHLÜSSEL" \
     -H "Content-Type: application/json" \
     -d '{"email": "[email protected]", "plan": "free"}'
   

   Copy
   • Ausgabe: Gibt {"status": "approved", "api_key": "abc123..."} zurück.

2. Installieren Sie die CLI:

   pip install nvidia-cosmos --extra-index-url https://pypi.nvidia.com
   

   Copy

Schritt 2: Lizenz akzeptieren

Cosmos nutzt die NVIDIA Open Model License (ähnlich Apache 2.0, aber mit Einschränkungen bei:

• Weitergabe vorab trainierter Modelle.
• Kommerzieller Nutzung ohne bezahlten Tarif.
• Modifikation der Kern-Trainingsprozesse.

Lizenz akzeptieren:

cosmos license accept

Erwartete Ausgabe:

Lizenz für Nutzer akzeptiert: [email protected]
Modellzugang gewährt: cosmos-70b, cosmos-vision-1.2

3. Generierung synthetischer Rollouts für die Vorabschulung von Policies

Nutzen Sie Cosmos, um synthetische Daten für die Vorabschulung von Robotik-Policies (z. B. Reinforcement Learning) zu generieren.

Schritt 1: Robotikumgebung definieren

Erstellen Sie eine robot_config.json:

{
  "robot": {
    "type": "ur5e",
    "dof": 6,
    "base_pose": [0, 0, 0.5, 0, 0, 0, 1]
  },
  "environment": {
    "objects": [
      {"type": "cube", "dimensions": [0.1, 0.1, 0.1], "pose": [0.2, 0.2, 0.1, 0, 0, 0, 1]},
      {"type": "sphere", "radius": 0.05, "pose": [0.3, 0.1, 0.15, 0, 0, 0, 1]}
    ],
    "gravity": [0, 0, -9.81]
  }
}

Schritt 2: Synthetische Rollouts generieren

Führen Sie Cosmos aus, um 10.000 synthetische Trajektorien zu generieren:

cosmos generate \
  --model cosmos-70b \
  --task rollout \
  --config robot_config.json \
  --output synthetische_rollouts/ \
  --num_rollouts 10000 \
  --duration 10.0  # Sekunden pro Rollout

Erwartete Ausgabe:

Generiere Rollouts... [======================================] 100%
10.000 Rollouts gespeichert in synthetische_rollouts/
Dateien: synthetische_rollouts/rollout_0001.npz, ..., rollout_10000.npz

Schritt 3: Rollouts validieren

Prüfen Sie die physikalische Plausibilität (z. B. keine Kollisionen, gültige Gelenkgrenzen):

cosmos validate \
  --input synthetische_rollouts/ \
  --physics-checks \
  --output validierungsbericht.json

Erwartete Ausgabe:

{
  "gultige_rollouts": 9987,
  "ungultige_grunde": [
    {"type": "kollision", "anzahl": 12},
    {"type": "gelenkgrenze", "anzahl": 1}
  ]
}

4. Cosmos-Transfer von strukturellen zu fotorealistischen Daten

Nutzen Sie Cosmos, um synthetische Daten domänenrandomisiert an reale Verteilungen anzupassen.

Schritt 1: Quell- und Ziel-Datensätze vorbereiten

• Quelle: Synthetische Daten (synthetische_rollouts/).
• Ziel: Reale Daten (reale_rollouts/).

Schritt 2: Transfer durchführen

cosmos transfer \
  --source synthetische_rollouts/ \
  --target reale_rollouts/ \
  --model cosmos-70b \
  --output transferierte_daten/ \
  --iterations 5

Erwartete Ausgabe:

Übertragung der Domäne... [======================] 100%
10.000 transferierte Samples gespeichert in transferierte_daten/

Schritt 3: Ergebnisse visualisieren

Nutzen Sie NVIDIA Omniverse, um transferierte Daten zu visualisieren:

cosmos visualize \
  --input transferierte_daten/rollout_0001.npz \
  --output visualisierung.usd

Öffnen Sie in Omniverse:

omniverse --scene visualisierung.usd

5. Validierung der physikalischen Plausibilität vor der Nutzung

Stellen Sie sicher, dass synthetische Daten physikalisch plausibel sind, bevor Policies trainiert werden.

Schritt 1: Physikalische Prüfungen durchführen

cosmos validate \
  --input synthetische_rollouts/ \
  --physics-checks \
  --output physikbericht.json

Wichtige Prüfungen:

• Kollisionserkennung: Keine Überschneidungen zwischen Objekten.
• Gelenkgrenzen: Roboter-Gelenke bleiben im gültigen Bereich.
• Energieerhaltung: Keine unphysikalischen Spitzen in kinetischer/potentieller Energie.

Schritt 2: Vergleich mit realen Daten

cosmos compare \
  --synthetic synthetische_rollouts/ \
  --real reale_rollouts/ \
  --metrics physikalische_plausibilitaet \
  --output vergleich.json

Erwartete Ausgabe:

{
  "physikalische_plausibilitaet": 0.92,
  "metriken": {
    "kollisionsrate": {"synthetisch": 0.001, "real": 0.0012},
    "gelenkgrenzenverletzungen": {"synthetisch": 0.0005, "real": 0.0003}
  }
}

6. Pipeline: Cosmos → Isaac Lab → Bereitstellung

Schritt 1: Cosmos-Daten nach Isaac Lab exportieren

cosmos export \
  --input synthetische_rollouts/ \
  --format isaac \
  --output isaac_daten/

Ausgabe: Isaac Lab-kompatible .json- und .npz-Dateien.

Schritt 2: Training in Isaac Lab

Nutzen Sie das RL-Training von Isaac Lab mit exportierten Daten:

isaac lab train \
  --policy ur5e_policy \
  --data isaac_daten/ \
  --iterations 1000

Schritt 3: Bereitstellung am Edge

Exportieren Sie die trainierte Policy auf einen Jetson Orin:

isaac lab export \
  --policy ur5e_policy \
  --target jetson \
  --output ur5e_policy_jetson.tar

Übertragen Sie auf Jetson:

scp ur5e_policy_jetson.tar nutzer@jetson-ip:/home/nutzer/
ssh nutzer@jetson-ip "tar -xvf ur5e_policy_jetson.tar && ./ausfuehren_policy"

7. Kosten und Rechenressourcen

Rechenanforderungen

Kostenaufstellung (Pro-Tarif)

Tipp: Nutzen Sie Spot-Instanzen für das Training, um die Kosten um 30–50% zu senken NVIDIA Cloud-Dokumentation.

Was kommt als Nächstes?

1. Experimentieren mit Cosmos Vision: Probieren Sie cosmos generate --task vision für die Synthese fotorealistischer Szenen.
2. Integration mit LangChain: Nutzen Sie Cosmos als benutzerdefiniertes LLM für Physical AI-Schlussfolgerungen:

   from langchain import LLMChain
   from nvidia_cosmos import CosmosLLM
   llm = CosmosLLM(model="cosmos-70b")
   chain = LLMChain(llm=llm, prompt="Erklären Sie diese Roboter-Trajektorie...")
   

   Copy
3. Optimierung für Edge: Bereitstellen der Cosmos-Inferenz auf Jetson Orin mit TensorRT:

   cosmos export --model cosmos-70b --target jetson --output cosmos_jetson.tar
   

   Copy

Für Beratung zur Physical AI-Infrastruktur, einschließlich Cosmos-Integration, Bereitstellung und Kostenoptimierung, besuchen Sie die AI-Tools-Beratung von Hyperion Consulting.