Physical AI full-stack
De la perception à l'action — modèles vision-langage et vision-langage-action, sur de vrais robots, avec une frontière de sûreté déterministe.
Perception
Politique (VLA)
Contrôle
Moniteur de sûreté
Un pipeline en quatre étapes : perception, puis la politique (un modèle vision-langage-action), puis le contrôle, puis un moniteur de sûreté indépendant.
Un robot qui fonctionne en démo n'est pas un robot que l'on peut déployer. Nous amenons les systèmes perception-à-action de la faisabilité à la production — en choisissant le bon modèle (VLM ou VLA), en validant en simulation, et en contraignant chaque action par une frontière de sûreté indépendante, pour que l'erreur d'un modèle ne devienne pas un mouvement dangereux.
Le pipeline capteur-à-action (perception → politique → contrôle), la distinction VLM/VLA (un VLM perçoit et raisonne ; un VLA produit des actions), une boucle d'entraînement et d'évaluation avec simulation et sim-to-real, et une frontière de sûreté déterministe — la politique propose, un moniteur indépendant contraint.
ROS 2 ; politiques vision-langage-action (famille π, SmolVLA, NVIDIA Isaac GR00T) et VLM ; LeRobot pour les données, l'entraînement et l'évaluation ; téléopération pour les démonstrations ; simulation (Isaac Sim/Lab) et sim-to-real ; fine-tuning (LoRA/QLoRA) et évaluation en boucle fermée ; moniteur de sûreté en temps réel, enveloppe de fonctionnement et arrêt d'urgence.
Les modèles appris proposent ; une frontière déterministe dispose. Chaque commande moteur passe par un moniteur de sûreté indépendant avant d'atteindre le matériel.
Flux des capteurs à travers la perception, le VLM et le VLA, le planificateur et le contrôleur, jusqu'à un moniteur de sûreté indépendant qui contrôle l'accès aux actionneurs, avec un retour vers les capteurs.
Frontière de sûreté déterministe
Seul un ACCEPT du moniteur de sûreté laisse une commande atteindre les actionneurs ; un REJECT force un état sûr.
Boucle fermée : l'état des actionneurs et de l'environnement est renvoyé aux capteurs.
Deux classes de modèles aux rôles distincts. Seule la sortie du VLA atteint les moteurs — donc seule la sortie du VLA doit franchir la frontière de sûreté déterministe.
| Dimension | VLM — modèle vision-langage | VLA — vision-langage-action |
|---|---|---|
| Sortie | Texte / langage structuré | Actions du robot / blocs d'actions |
| Question à laquelle il répond | « qu'est-ce que je regarde ? » | « que doivent faire les articulations maintenant ? » |
| Rôle | Perception de haut niveau, raisonnement, ancrage | Ferme la boucle sur le matériel |
| Fréquence typique | ~1 Hz / à la demande | ~10–50 Hz |
| Entraîné sur | Paires image-texte | Démonstrations de téléopération (+ Open X-Embodiment) |
| Mode de défaillance | Plan halluciné | Mouvement dangereux — impose un moniteur de sûreté |
68.71 GB
1.08 → 0.13 (300 steps)
0% → 96%
12 / 12
2.3× – 14.3×