Van perceptie naar actie — vision-language- en vision-language-action-modellen, op echte robots, met een deterministische veiligheidsgrens.
Hyperion positioneert zich niet als een algemene engineeringafdeling. Technische kennis wordt gebruikt om betere productbeslissingen te nemen, aannames te toetsen, bewijs te definiëren en de specialisten te coördineren die de opdracht vereist.
Perceptie
Policy (VLA)
Besturing
Veiligheidsmonitor
Van sensoren naar beweging, achter een onafhankelijke veiligheidsmonitor.
Een pijplijn van vier fasen: perceptie, dan de policy (een vision-language-action-model), dan besturing, dan een onafhankelijke veiligheidsmonitor.
Een robot die in een demo werkt, is er geen die u kunt uitrollen. De ingrijpende keuzes — VLM of VLA, wat een simulatie mag bewijzen, waar de deterministische veiligheidsgrens ligt — zijn productbeslissingen voordat ze technische beslissingen zijn. Hyperion neemt ze, benoemt het bewijs dat elk ervan sluit, en coördineert de specialisten die het resultaat bouwen.
De sensor-naar-actie-pijplijn (perceptie → policy → besturing), het VLM-vs-VLA-onderscheid (een VLM neemt waar en redeneert; een VLA produceert acties), een trainings- en evaluatielus met simulatie en sim-to-real, en een deterministische veiligheidsgrens — de policy stelt voor, een onafhankelijke monitor begrenst.
ROS 2; vision-language-action-policies (π-familie, SmolVLA, NVIDIA Isaac GR00T) en VLM's; LeRobot voor data, training en evaluatie; teleoperatie voor demonstraties; simulatie (Isaac Sim/Lab) en sim-to-real; fine-tuning (LoRA/QLoRA) en closed-loop-evaluatie; runtime-veiligheidsmonitor, bedrijfsenvelop en noodstop.
Van perceptie naar actie, met een grens die veilig faalt
Geleerde modellen stellen voor; een deterministische grens beslist. Elke motoropdracht passeert een onafhankelijke veiligheidsmonitor voordat hij de hardware bereikt.
Invoer
Deterministisch
Geleerd
Veiligheid
Uitvoer
Stroom van de sensoren door perceptie, VLM en VLA, planner en regelaar, naar een onafhankelijke veiligheidsmonitor die de actuatoren bewaakt, met terugkoppeling naar de sensoren.
GeleerdVLMVerankert het doel — “Waar kijk ik naar?”
GeleerdVLAGenereert actie-chunks op de hardware
DeterministischPlanner & besturingTrajectorie en besturing op ~1 kHz
VeiligheidVeiligheidsmonitorOnafhankelijke out-of-band-envelop en e-stop
UitvoerActuatorenBeweging in de fysieke wereld
Deterministische veiligheidsgrens
Alleen een ACCEPT van de veiligheidsmonitor laat een opdracht de actuatoren bereiken; een REJECT dwingt een veilige toestand af.
⤿Gesloten lus: de toestand van actuatoren en omgeving wordt teruggekoppeld naar de sensoren.
Illustratieve regellus-budgetten: reflex/veiligheid ~1 kHz · perceptie ~10–40 ms · policy ~20–100 ms · VLM ~1 Hz.
Het VLM redeneert. Het VLA handelt.
Twee modelklassen met verschillende taken. Alleen de uitvoer van het VLA bereikt de motoren — dus alleen de uitvoer van het VLA moet de deterministische veiligheidsgrens passeren.
Het VLM verankert het doel dat het VLA uitvoert. Modelvoorbeelden illustreren open klassen (bijv. VLM's van de Pixtral-klasse; VLA's van de π0- / SmolVLA-klasse).
Dimensie
VLM — vision-language-model
VLA — vision-language-action
Uitvoer
Tekst / gestructureerde taal
Robotacties / actie-chunks
Vraag die het beantwoordt
“Waar kijk ik naar?”
“Wat moeten de gewrichten nu doen?”
Rol
Perceptie op hoog niveau, redeneren, verankering
Sluit de lus op de hardware
Typische frequentie
~1 Hz / op aanvraag
~10–50 Hz
Getraind op
Beeld-tekstparen
Teleoperatie-demo's (+ Open X-Embodiment)
Faalmodus
Gehallucineerd plan
Onveilige beweging — vereist een veiligheidsmonitor