Full-stack Physical AI
Van perceptie naar actie — vision-language- en vision-language-action-modellen, op echte robots, met een deterministische veiligheidsgrens.
Perceptie
Policy (VLA)
Besturing
Veiligheidsmonitor
Een pijplijn van vier fasen: perceptie, dan de policy (een vision-language-action-model), dan besturing, dan een onafhankelijke veiligheidsmonitor.
Een robot die in een demo werkt, is er geen die je kunt uitrollen. Wij brengen perceptie-naar-actie-systemen van haalbaarheid naar productie — door het juiste model te kiezen (VLM of VLA), te valideren in simulatie, en elke actie te begrenzen met een onafhankelijke veiligheidsgrens, zodat de fout van een model geen onveilige beweging wordt.
De sensor-naar-actie-pijplijn (perceptie → policy → besturing), het VLM-vs-VLA-onderscheid (een VLM neemt waar en redeneert; een VLA produceert acties), een trainings- en evaluatielus met simulatie en sim-to-real, en een deterministische veiligheidsgrens — de policy stelt voor, een onafhankelijke monitor begrenst.
ROS 2; vision-language-action-policies (π-familie, SmolVLA, NVIDIA Isaac GR00T) en VLM's; LeRobot voor data, training en evaluatie; teleoperatie voor demonstraties; simulatie (Isaac Sim/Lab) en sim-to-real; fine-tuning (LoRA/QLoRA) en closed-loop-evaluatie; runtime-veiligheidsmonitor, bedrijfsenvelop en noodstop.
Geleerde modellen stellen voor; een deterministische grens beslist. Elke motoropdracht passeert een onafhankelijke veiligheidsmonitor voordat hij de hardware bereikt.
Stroom van de sensoren door perceptie, VLM en VLA, planner en regelaar, naar een onafhankelijke veiligheidsmonitor die de actuatoren bewaakt, met terugkoppeling naar de sensoren.
Deterministische veiligheidsgrens
Alleen een ACCEPT van de veiligheidsmonitor laat een opdracht de actuatoren bereiken; een REJECT dwingt een veilige toestand af.
Gesloten lus: de toestand van actuatoren en omgeving wordt teruggekoppeld naar de sensoren.
Twee modelklassen met verschillende taken. Alleen de uitvoer van het VLA bereikt de motoren — dus alleen de uitvoer van het VLA moet de deterministische veiligheidsgrens passeren.
| Dimensie | VLM — vision-language-model | VLA — vision-language-action |
|---|---|---|
| Uitvoer | Tekst / gestructureerde taal | Robotacties / actie-chunks |
| Vraag die het beantwoordt | “Waar kijk ik naar?” | “Wat moeten de gewrichten nu doen?” |
| Rol | Perceptie op hoog niveau, redeneren, verankering | Sluit de lus op de hardware |
| Typische frequentie | ~1 Hz / op aanvraag | ~10–50 Hz |
| Getraind op | Beeld-tekstparen | Teleoperatie-demo's (+ Open X-Embodiment) |
| Faalmodus | Gehallucineerd plan | Onveilige beweging — vereist een veiligheidsmonitor |
68.71 GB
1.08 → 0.13 (300 steps)
0% → 96%
12 / 12
2.3× – 14.3×