Zum Inhalt springen

Kompetenz · angewandt innerhalb eines Mandats

Robotik, VLMs & VLAs

Von Wahrnehmung zu Aktion: Modelle, Steuerungsschnittstellen und Schutzfunktionen für den konkreten Roboter und Einsatz qualifizieren.

Über ein Robotik-Programm sprechen

Hyperion verbindet Produktführung mit klar abgegrenzter Modellentwicklung und Cybersicherheit. Ein technischer Auftrag definiert Konfiguration, Anpassung, Integration und Übergabe; spezialisierte Tests und unabhängige Qualifizierung werden ausdrücklich vereinbart.

Ein Vorschlag erlaubt noch keine Bewegung
  1. Beobachten

    Sensoren, Zustand und Unsicherheit

  2. Vorschlagen

    Gelernte Policy mit begrenzter Befugnis

  3. Lokal begrenzen

    Steuerungsgrenzen und unabhängige Schutzfunktionen

  4. Handeln und beobachten

    Physisches Ergebnis vor dem nächsten Schritt prüfen

Steuerung, Stopp und Wiederherstellung benötigen roboterspezifische Qualifizierung. Cybersicherheit ist ein eigener Prüfumfang.

Architektur-Ansicht

  1. Beobachten

  2. Vorschlagen

  3. Lokal begrenzen

  4. Handeln und beobachten

Steuerung, Stopp und Wiederherstellung benötigen roboterspezifische Qualifizierung. Cybersicherheit ist ein eigener Prüfumfang.

Beobachten → Vorschlagen → Lokal begrenzen → Handeln und beobachten

Ein Roboter, der in der Demo läuft, ist keiner, den man ausrollen kann. Von Wahrnehmung zu Aktion: Modelle, Steuerungsschnittstellen und Schutzfunktionen für den konkreten Roboter und Einsatz qualifizieren. Hyperion führt Produktentscheidungen und Abnahmekriterien. Eine abgegrenzte Mission kann benannte Implementierungsarbeiten durch Hyperion umfassen. Das Angebot verteilt die übrigen Engineering-, spezialisierten Prüf- und Betriebsverantwortlichkeiten.

Wahrnehmung, gelernte Vorschläge, Steuerung und Schutz trennen. Schnittstellen, Verantwortliche und Qualifizierungsnachweise definieren. Steuerung, Stopp und Wiederherstellung benötigen roboterspezifische Qualifizierung. Cybersicherheit ist ein eigener Prüfumfang.

ROS 2; Vision-Language-Action-Policies (π-Familie, SmolVLA, NVIDIA Isaac GR00T) und VLMs; LeRobot für Daten, Training und Evaluation; Teleoperation für Demonstrationen; Simulation (Isaac Sim/Lab) und Sim-to-Real; Fine-Tuning (LoRA/QLoRA) und Closed-Loop-Evaluation; Laufzeit-Sicherheitsmonitor, Betriebshülle und Not-Halt.

Gelernte Vorschläge von Steuerung und Schutz trennen

VLMs und VLAs erfüllen unterschiedliche Rollen; die Architektur richtet sich nach Aufgabe und Steuerung. Ein Vorschlag braucht eine autorisierte Schnittstelle, definierte Grenzen und roboterspezifische Sicherheitsnachweise.

  • Eingabe

    Sensoren

    Kameras, Tiefe, Kraft-Moment, Propriozeption

  • Eingabe

    Wahrnehmung

    Fusion, SLAM, 6-DoF-Pose

  • Gelernt

    VLM

    Verankert das Ziel — „Was sehe ich gerade?“

  • Gelernt

    VLA

    Aktionsdarstellungen passend zu Roboter und Steuerung

  • Konfigurierte Steuerung

    Planer & Steuerung

    Trajektorien- und Steuerungsbudgets am Ziel qualifiziert

  • Sicherheit

    Sicherheitsmonitor

    Unabhängige Schutzfunktionen; Stopp und Wiederherstellung im Kontext testen

  • Ausgabe

    Aktoren

    Bewegung in der physischen Welt

Gelernte Vorschläge von Steuerung und Schutz trennen

Steuerung, Stopp und Wiederherstellung benötigen roboterspezifische Qualifizierung. Cybersicherheit ist ein eigener Prüfumfang.

Geschlossene Schleife: Aktor- und Umgebungszustand werden an die Sensoren zurückgeführt.

Exaktes Modell, Laufzeit, Hardware und Steuerungsintegration messen

VLMs und VLAs erfüllen unterschiedliche Rollen; die Architektur richtet sich nach Aufgabe und Steuerung. Ein Vorschlag braucht eine autorisierte Schnittstelle, definierte Grenzen und roboterspezifische Sicherheitsnachweise. Steuerung, Stopp und Wiederherstellung benötigen roboterspezifische Qualifizierung. Cybersicherheit ist ein eigener Prüfumfang.

VLM und VLA: unterschiedliche Ausgabeverträge

Ausgabevertrag, Eignung für den Roboter und Integrationsnachweise vergleichen. Keine Modellklasse belegt allein die Bereitschaft zum physischen Einsatz.

Steuerung, Stopp und Wiederherstellung benötigen roboterspezifische Qualifizierung. Cybersicherheit ist ein eigener Prüfumfang.
DimensionVLM — Vision-Language-ModellVLA — Vision-Language-Action
AusgabeText / strukturierte SpracheRoboteraktionen / Aktions-Chunks
Beantwortete Frage„Was sehe ich gerade?“„Was sollen die Gelenke jetzt tun?“
RolleÜbergeordnete Wahrnehmung, Schlussfolgern, VerankerungAktionsdarstellungen passend zu Roboter und Steuerung
ZeitvalidierungExaktes Modell, Laufzeit, Hardware und Steuerungsintegration messenExaktes Modell, Laufzeit, Hardware und Steuerungsintegration messen
TrainingsnachweiseRelease prüfen: Modalitäten, Datenrechte und AufgabenabdeckungRelease prüfen: Demonstrationen, Robotertypen und Aktionsdarstellung
FehlermodusHalluzinierter PlanFalsche oder unsichere Vorschläge; Grenzen, Ablehnung und Wiederherstellung testen

Was wir gemessen haben

  • Gemessen

    68.71 GB

    π0.5-Voll-Fine-Tune — Spitzenspeicher
  • Gemessen

    1.08 → 0.13 (300 steps)

    Echtes Fine-Tune (LIBERO, sprachkonditioniert) — Loss
  • Simulation

    48/50

    Simulationserfolg (LIBERO-Spatial), feinabgestimmte Policy

    Feinabgestimmte Policy: 48/50 Episoden (96%). Zehn im Training gesehene LIBERO-Spatial-Aufgaben, neue Startpositionen im Simulator, offizieller LeRobot-Evaluator. Ein Trainings-Seed, ein separates Fine-Tune mit 1.000 Schritten. Das ist ein einzelnes Pilotergebnis; es wird nicht als Verbesserung gegenüber einer Baseline dargestellt.

  • Am Roboter, Trockenlauf

    wahrnehmen 10/12 · verstehen 12/12 · interpretieren 10/12 · Ende-zu-Ende 10/12

    Kognitiver Benchmark am Roboter (12 Szenen) — wahrnehmen · verstehen · interpretieren
  • Gemessen

    2.3× – 14.3×

    bf16-Durchsatz vs. FP32 (ACT)

Noch nicht gemessen

  • Aufgaben-Erfolgsrate am Roboter — die Arm-Schleife ist Trockenlauf (noch keine physische Bewegung).
  • NPU-(XDNA2-)Ausführung — die INT8-Toolchain validiert, aber kein DPU-Subgraph kompiliert; nur iGPU/CPU-Fallback.
  • Konvergenz (das Fine-Tune stoppt bei 300 Schritten), Energie und Multi-Task-Generalisierung.

Über verkörperte-KI-Arbeit sprechen