Full-Stack Physical AI
Von Wahrnehmung zu Aktion — Vision-Language- und Vision-Language-Action-Modelle, auf echten Robotern, mit deterministischer Sicherheitsgrenze.
Wahrnehmung
Policy (VLA)
Steuerung
Sicherheitsmonitor
Eine vierstufige Pipeline: Wahrnehmung, dann die Policy (ein Vision-Language-Action-Modell), dann Steuerung, dann ein unabhängiger Sicherheitsmonitor.
Ein Roboter, der in der Demo läuft, ist keiner, den man ausrollen kann. Wir bringen Wahrnehmung-zu-Aktion-Systeme von der Machbarkeit in die Produktion — wählen das richtige Modell (VLM oder VLA), validieren in Simulation und begrenzen jede Aktion durch eine unabhängige Sicherheitsgrenze, damit der Fehler eines Modells keine unsichere Bewegung wird.
Die Sensor-zu-Aktion-Pipeline (Wahrnehmung → Policy → Steuerung), die VLM-vs-VLA-Unterscheidung (ein VLM nimmt wahr und schließt; ein VLA gibt Aktionen aus), eine Trainings- und Evaluationsschleife mit Simulation und Sim-to-Real und eine deterministische Sicherheitsgrenze — die Policy schlägt vor, ein unabhängiger Monitor begrenzt.
ROS 2; Vision-Language-Action-Policies (π-Familie, SmolVLA, NVIDIA Isaac GR00T) und VLMs; LeRobot für Daten, Training und Evaluation; Teleoperation für Demonstrationen; Simulation (Isaac Sim/Lab) und Sim-to-Real; Fine-Tuning (LoRA/QLoRA) und Closed-Loop-Evaluation; Laufzeit-Sicherheitsmonitor, Betriebshülle und Not-Halt.
Gelernte Modelle schlagen vor; eine deterministische Grenze entscheidet. Jeder Motorbefehl passiert einen unabhängigen Sicherheitsmonitor, bevor er die Hardware erreicht.
Fluss von den Sensoren über Wahrnehmung, VLM und VLA, Planer und Regler, zu einem unabhängigen Sicherheitsmonitor, der die Aktoren freigibt, mit Rückführung zu den Sensoren.
Deterministische Sicherheitsgrenze
Nur ein ACCEPT des Sicherheitsmonitors lässt einen Befehl die Aktoren erreichen; ein REJECT erzwingt einen sicheren Zustand.
Geschlossene Schleife: Aktor- und Umgebungszustand werden an die Sensoren zurückgeführt.
Zwei Modellklassen mit unterschiedlichen Aufgaben. Nur die Ausgabe des VLA erreicht die Motoren — also muss nur die Ausgabe des VLA die deterministische Sicherheitsgrenze passieren.
| Dimension | VLM — Vision-Language-Modell | VLA — Vision-Language-Action |
|---|---|---|
| Ausgabe | Text / strukturierte Sprache | Roboteraktionen / Aktions-Chunks |
| Beantwortete Frage | „Was sehe ich gerade?“ | „Was sollen die Gelenke jetzt tun?“ |
| Rolle | Übergeordnete Wahrnehmung, Schlussfolgern, Verankerung | Schließt die Schleife auf der Hardware |
| Typische Rate | ~1 Hz / bei Bedarf | ~10–50 Hz |
| Trainiert auf | Bild-Text-Paare | Teleoperations-Demos (+ Open X-Embodiment) |
| Fehlermodus | Halluzinierter Plan | Unsichere Bewegung — erfordert einen Sicherheitsmonitor |
68.71 GB
1.08 → 0.13 (300 steps)
0% → 96%
12 / 12
2.3× – 14.3×