Van perceptie naar actie — vision-language- en vision-language-action-modellen, op echte robots, met een deterministische veiligheidsgrens.
Hyperion combineert productleiderschap met afgebakende modelengineering en cybersecurity. Een technische opdracht bepaalt de configuratie, aanpassing, integratie en overdracht; specialistische tests en onafhankelijke kwalificatie worden expliciet afgesproken.
Perceptie
Policy (VLA)
Besturing
Veiligheidsmonitor
Van sensoren naar beweging, achter een onafhankelijke veiligheidsmonitor.
Een pijplijn van vier fasen: perceptie, dan de policy (een vision-language-action-model), dan besturing, dan een onafhankelijke veiligheidsmonitor.
Een robot die in een demo werkt, is er geen die u kunt uitrollen. De ingrijpende keuzes — VLM of VLA, wat een simulatie mag bewijzen, waar de deterministische veiligheidsgrens ligt — zijn productbeslissingen voordat ze technische beslissingen zijn. Hyperion neemt ze, benoemt het bewijs dat elk ervan sluit, en coördineert de specialisten die het resultaat bouwen.
De sensor-naar-actie-pijplijn (perceptie → policy → besturing), het VLM-vs-VLA-onderscheid (een VLM neemt waar en redeneert; een VLA produceert acties), een trainings- en evaluatielus met simulatie en sim-to-real, en een deterministische veiligheidsgrens — de policy stelt voor, een onafhankelijke monitor begrenst.
ROS 2; vision-language-action-policies (π-familie, SmolVLA, NVIDIA Isaac GR00T) en VLM's; LeRobot voor data, training en evaluatie; teleoperatie voor demonstraties; simulatie (Isaac Sim/Lab) en sim-to-real; fine-tuning (LoRA/QLoRA) en closed-loop-evaluatie; runtime-veiligheidsmonitor, bedrijfsenvelop en noodstop.
Van perceptie naar actie, met een grens die veilig faalt
Geleerde modellen stellen voor; een deterministische grens beslist. Elke motoropdracht passeert een onafhankelijke veiligheidsmonitor voordat hij de hardware bereikt.
Invoer
Deterministisch
Geleerd
Veiligheid
Uitvoer
Stroom van de sensoren door perceptie, VLM en VLA, planner en regelaar, naar een onafhankelijke veiligheidsmonitor die de actuatoren bewaakt, met terugkoppeling naar de sensoren.
GeleerdVLMVerankert het doel — “Waar kijk ik naar?”
GeleerdVLAGenereert actie-chunks op de hardware
DeterministischPlanner & besturingTrajectorie en besturing op ~1 kHz
VeiligheidVeiligheidsmonitorOnafhankelijke out-of-band-envelop en e-stop
UitvoerActuatorenBeweging in de fysieke wereld
Deterministische veiligheidsgrens
Alleen een ACCEPT van de veiligheidsmonitor laat een opdracht de actuatoren bereiken; een REJECT dwingt een veilige toestand af.
⤿Gesloten lus: de toestand van actuatoren en omgeving wordt teruggekoppeld naar de sensoren.
Illustratieve regellus-budgetten: reflex/veiligheid ~1 kHz · perceptie ~10–40 ms · policy ~20–100 ms · VLM ~1 Hz.
Het VLM redeneert. Het VLA handelt.
Twee modelklassen met verschillende taken. De uitvoer van het VLA stuurt de motoren rechtstreeks aan en moet dus een deterministische veiligheidsgrens passeren. Een doel, plan of tool-aanroep van een VLM die de beweging kan beïnvloeden, heeft ook eigen bevoegdheidsgrenzen nodig, en geen van beide controles is de volledige veiligheidsonderbouwing.
Het VLM verankert het doel dat het VLA uitvoert. Modelvoorbeelden illustreren open klassen (bijv. VLM's van de Pixtral-klasse; VLA's van de π0- / SmolVLA-klasse).
Dimensie
VLM — vision-language-model
VLA — vision-language-action
Uitvoer
Tekst / gestructureerde taal
Robotacties / actie-chunks
Vraag die het beantwoordt
“Waar kijk ik naar?”
“Wat moeten de gewrichten nu doen?”
Rol
Perceptie op hoog niveau, redeneren, verankering
Sluit de lus op de hardware
Typische frequentie
~1 Hz / op aanvraag
~10–50 Hz
Getraind op
Beeld-tekstparen
Teleoperatie-demo's (+ Open X-Embodiment)
Faalmodus
Gehallucineerd plan
Onveilige beweging — vereist een veiligheidsmonitor
Gefinetunede policy: 48/50 episodes (96%). Tien LIBERO-Spatial-taken die in de training voorkwamen, nieuwe startposities in de simulator, officiële LeRobot-evaluator. Eén trainingsseed, een aparte fine-tune van 1.000 stappen. Dit is een pilotresultaat dat op zichzelf staat; het wordt niet gepresenteerd als winst ten opzichte van een basislijn.
Op robot, droogloop
waarnemen 10/12 · begrijpen 12/12 · interpreteren 10/12 · van begin tot eind 10/12