Aller au contenu

Capacité · appliquée au sein d'une mission

Robotique, VLM et VLA

De la perception à l’action : choisir et qualifier modèles, interfaces de commande et protections pour le robot et son contexte réel.

Discuter d'un programme robotique

Hyperion associe leadership produit, ingénierie des modèles et cybersécurité sur un périmètre défini. Une mission technique précise la configuration, l’adaptation, l’intégration et la transmission attendues ; les tests spécialisés et la qualification indépendante sont convenus explicitement.

Proposer ne donne pas le droit de bouger
  1. Observer

    Capteurs, état et incertitude

  2. Proposer

    Politique apprise à autorité limitée

  3. Contraindre localement

    Limites de commande et protections indépendantes

  4. Agir et observer

    Vérifier le résultat physique avant de poursuivre

Commande, arrêt et reprise exigent une qualification propre au robot. La cybersécurité relève d’un périmètre distinct.

Vue architecture

  1. Observer

  2. Proposer

  3. Contraindre localement

  4. Agir et observer

Commande, arrêt et reprise exigent une qualification propre au robot. La cybersécurité relève d’un périmètre distinct.

Observer → Proposer → Contraindre localement → Agir et observer

Un robot qui fonctionne en démo n'est pas un robot que l'on peut déployer. De la perception à l’action : choisir et qualifier modèles, interfaces de commande et protections pour le robot et son contexte réel. Hyperion pilote les décisions produit et les critères d’acceptation. Une Mission cadrée peut inclure des réalisations désignées par Hyperion. La proposition répartit les autres responsabilités d’ingénierie, d’assurance spécialisée et d’exploitation.

Séparer capteurs, propositions apprises, commande et protections. Définir interfaces, responsables et preuves de qualification. Commande, arrêt et reprise exigent une qualification propre au robot. La cybersécurité relève d’un périmètre distinct.

ROS 2 ; politiques vision-langage-action (famille π, SmolVLA, NVIDIA Isaac GR00T) et VLM ; LeRobot pour les données, l'entraînement et l'évaluation ; téléopération pour les démonstrations ; simulation (Isaac Sim/Lab) et sim-to-real ; fine-tuning (LoRA/QLoRA) et évaluation en boucle fermée ; moniteur de sûreté en temps réel, enveloppe de fonctionnement et arrêt d'urgence.

Séparer propositions apprises, commande et protection

VLM et VLA remplissent des rôles distincts ; l’architecture dépend de la tâche et du contrôleur. Une proposition exige une interface autorisée, des limites définies et des preuves de sûreté propres au robot.

  • Entrée

    Capteurs

    Caméras, profondeur, effort-couple, proprioception

  • Entrée

    Perception

    Fusion, SLAM, pose 6-DoF

  • Appris

    VLM

    Ancre l'objectif — « qu'est-ce que je regarde ? »

  • Appris

    VLA

    Représentations d’action adaptées au robot et au contrôleur

  • Commande configurée

    Planificateur et contrôle

    Budgets de trajectoire et de commande qualifiés sur la cible

  • Sûreté

    Moniteur de sûreté

    Protections indépendantes ; arrêt et reprise testés en contexte

  • Sortie

    Actionneurs

    Mouvement dans le monde physique

Séparer propositions apprises, commande et protection

Commande, arrêt et reprise exigent une qualification propre au robot. La cybersécurité relève d’un périmètre distinct.

Boucle fermée : l'état des actionneurs et de l'environnement est renvoyé aux capteurs.

Mesurer modèle, runtime, matériel et intégration de commande exacts

VLM et VLA remplissent des rôles distincts ; l’architecture dépend de la tâche et du contrôleur. Une proposition exige une interface autorisée, des limites définies et des preuves de sûreté propres au robot. Commande, arrêt et reprise exigent une qualification propre au robot. La cybersécurité relève d’un périmètre distinct.

VLM et VLA : des contrats de sortie distincts

Comparer contrat de sortie, adéquation au robot et preuves d’intégration. Aucune classe de modèle ne suffit à établir l’aptitude au déploiement physique.

Commande, arrêt et reprise exigent une qualification propre au robot. La cybersécurité relève d’un périmètre distinct.
DimensionVLM — modèle vision-langageVLA — vision-langage-action
SortieTexte / langage structuréActions du robot / blocs d'actions
Question à laquelle il répond« qu'est-ce que je regarde ? »« que doivent faire les articulations maintenant ? »
RôlePerception de haut niveau, raisonnement, ancrageReprésentations d’action adaptées au robot et au contrôleur
Validation temporelleMesurer modèle, runtime, matériel et intégration de commande exactsMesurer modèle, runtime, matériel et intégration de commande exacts
Preuves d’entraînementVérifier la version : modalités, droits des données et tâches couvertesVérifier la version : démonstrations, robots et représentations d’action
Mode de défaillancePlan hallucinéPropositions incorrectes ou dangereuses ; tester limites, refus et reprise

Ce que nous avons mesuré

  • Mesuré

    68.71 GB

    Fine-tune complet π0.5 — mémoire de pointe
  • Mesuré

    1.08 → 0.13 (300 steps)

    Fine-tune réel (LIBERO, conditionné par le langage) — perte
  • Simulation

    48/50

    Succès en simulation (LIBERO-Spatial), modèle affiné

    Modèle affiné : 48/50 épisodes (96 %). Dix tâches LIBERO-Spatial vues à l'entraînement, nouvelles positions de départ dans le simulateur, évaluateur officiel LeRobot. Une seule graine d'entraînement, un fine-tune distinct de 1 000 étapes. C'est un résultat pilote isolé ; il n'est pas présenté comme un gain par rapport à une référence.

  • Sur robot, à blanc

    percevoir 10/12 · comprendre 12/12 · interpréter 10/12 · de bout en bout 10/12

    Benchmark cognitif sur robot (12 scènes) — percevoir · comprendre · interpréter
  • Mesuré

    2.3× – 14.3×

    Débit bf16 vs FP32 (ACT)

Pas encore mesuré

  • Taux de succès des tâches sur robot — la boucle du bras est à blanc (pas encore de mouvement physique).
  • Exécution NPU (XDNA2) — la chaîne INT8 se valide, mais aucun sous-graphe DPU compilé ; repli iGPU/CPU uniquement.
  • Convergence (le fine-tune s'arrête à 300 étapes), énergie et généralisation multitâche.

Discuter de travaux en IA incarnée