Ga naar inhoud

Capaciteit · toegepast binnen een opdracht

Robotica, VLM's & VLA's

Van waarneming tot actie: selecteer en kwalificeer modellen, besturingsinterfaces en beschermingsfuncties voor de robot en zijn werkelijke omgeving.

Een robotica-programma bespreken

Hyperion combineert productleiderschap met afgebakende modelengineering en cybersecurity. Een technische opdracht bepaalt de configuratie, aanpassing, integratie en overdracht; specialistische tests en onafhankelijke kwalificatie worden expliciet afgesproken.

Een voorstel geeft geen bewegingsbevoegdheid
  1. Waarnemen

    Sensoren, toestand en onzekerheid

  2. Voorstellen

    Geleerd beleid met beperkte bevoegdheid

  3. Lokaal begrenzen

    Besturingslimieten en onafhankelijke beveiligingen

  4. Handelen en waarnemen

    Verifieer het fysieke resultaat voor de volgende stap

Besturing, stoppen en herstel vereisen robotspecifieke kwalificatie. Cybersecurity is een afzonderlijk assurancegebied.

Architectuurweergave

  1. Waarnemen

  2. Voorstellen

  3. Lokaal begrenzen

  4. Handelen en waarnemen

Besturing, stoppen en herstel vereisen robotspecifieke kwalificatie. Cybersecurity is een afzonderlijk assurancegebied.

Waarnemen → Voorstellen → Lokaal begrenzen → Handelen en waarnemen

Een robot die in een demo werkt, is er geen die u kunt uitrollen. Van waarneming tot actie: selecteer en kwalificeer modellen, besturingsinterfaces en beschermingsfuncties voor de robot en zijn werkelijke omgeving. Hyperion leidt de productbeslissingen en acceptatiecriteria. Een afgebakende Mission kan benoemd implementatiewerk door Hyperion omvatten. Het voorstel verdeelt de overige engineering-, specialistische assurance- en operationele verantwoordelijkheden.

Scheid waarneming, geleerde voorstellen, besturing en bescherming. Definieer interfaces, eigenaren en kwalificatiebewijs. Besturing, stoppen en herstel vereisen robotspecifieke kwalificatie. Cybersecurity is een afzonderlijk assurancegebied.

ROS 2; vision-language-action-policies (π-familie, SmolVLA, NVIDIA Isaac GR00T) en VLM's; LeRobot voor data, training en evaluatie; teleoperatie voor demonstraties; simulatie (Isaac Sim/Lab) en sim-to-real; fine-tuning (LoRA/QLoRA) en closed-loop-evaluatie; runtime-veiligheidsmonitor, bedrijfsenvelop en noodstop.

Scheid geleerde voorstellen van besturing en bescherming

VLM’s en VLA’s vervullen verschillende rollen; de architectuur hangt af van de taak en de besturing. Een voorstel vereist een bevoegde interface, bepaalde besturingsgrenzen en robotspecifiek veiligheidsbewijs.

  • Invoer

    Sensoren

    Camera's, diepte, kracht-koppel, proprioceptie

  • Invoer

    Perceptie

    Fusie, SLAM, 6-DoF-pose

  • Geleerd

    VLM

    Verankert het doel — “Waar kijk ik naar?”

  • Geleerd

    VLA

    Actierepresentaties afgestemd op robot en controller

  • Geconfigureerde besturing

    Planner & besturing

    Traject- en besturingsbudgetten op het doel gekwalificeerd

  • Veiligheid

    Veiligheidsmonitor

    Onafhankelijke beschermingsfuncties; stoppen en herstel in context getest

  • Uitvoer

    Actuatoren

    Beweging in de fysieke wereld

Scheid geleerde voorstellen van besturing en bescherming

Besturing, stoppen en herstel vereisen robotspecifieke kwalificatie. Cybersecurity is een afzonderlijk assurancegebied.

Gesloten lus: de toestand van actuatoren en omgeving wordt teruggekoppeld naar de sensoren.

Meet het exacte model, runtime, hardware en besturingsintegratie

VLM’s en VLA’s vervullen verschillende rollen; de architectuur hangt af van de taak en de besturing. Een voorstel vereist een bevoegde interface, bepaalde besturingsgrenzen en robotspecifiek veiligheidsbewijs. Besturing, stoppen en herstel vereisen robotspecifieke kwalificatie. Cybersecurity is een afzonderlijk assurancegebied.

VLM en VLA: verschillende uitvoercontracten

Vergelijk uitvoercontract, geschiktheid voor de robot en integratiebewijs. Geen modelklasse bewijst op zichzelf gereedheid voor fysieke inzet.

Besturing, stoppen en herstel vereisen robotspecifieke kwalificatie. Cybersecurity is een afzonderlijk assurancegebied.
DimensieVLM — vision-language-modelVLA — vision-language-action
UitvoerTekst / gestructureerde taalRobotacties / actie-chunks
Vraag die het beantwoordt“Waar kijk ik naar?”“Wat moeten de gewrichten nu doen?”
RolPerceptie op hoog niveau, redeneren, verankeringActierepresentaties afgestemd op robot en controller
TimingvalidatieMeet het exacte model, runtime, hardware en besturingsintegratieMeet het exacte model, runtime, hardware en besturingsintegratie
TrainingsbewijsControleer de release: modaliteiten, datarechten en taakdekkingControleer de release: demonstraties, robots en actierepresentatie
FaalmodusGehallucineerd planOnjuiste of onveilige voorstellen; test grenzen, weigering en herstel

Wat we hebben gemeten

  • Gemeten

    68.71 GB

    π0.5 volledige fine-tune — piekgeheugen
  • Gemeten

    1.08 → 0.13 (300 steps)

    Echte fine-tune (LIBERO, taalgeconditioneerd) — verlies
  • Simulatie

    48/50

    Simulatiesucces (LIBERO-Spatial), gefinetunede policy

    Gefinetunede policy: 48/50 episodes (96%). Tien LIBERO-Spatial-taken die in de training voorkwamen, nieuwe startposities in de simulator, officiële LeRobot-evaluator. Eén trainingsseed, een aparte fine-tune van 1.000 stappen. Dit is een pilotresultaat dat op zichzelf staat; het wordt niet gepresenteerd als winst ten opzichte van een basislijn.

  • Op robot, droogloop

    waarnemen 10/12 · begrijpen 12/12 · interpreteren 10/12 · van begin tot eind 10/12

    Cognitieve benchmark op robot (12 scènes) — waarnemen · begrijpen · interpreteren
  • Gemeten

    2.3× – 14.3×

    bf16-doorvoer vs. FP32 (ACT)

Nog niet gemeten

  • Taaksuccespercentage op robot — de armlus is droogloop (nog geen fysieke beweging).
  • NPU-(XDNA2-)uitvoering — de INT8-toolchain valideert, maar geen DPU-subgraaf gecompileerd; alleen iGPU/CPU-fallback.
  • Convergentie (de fine-tune stopt bij 300 stappen), energie en multitask-generalisatie.

Belichaamde-AI-werk bespreken