Cette semaine, la recherche révèle deux angles morts critiques dans l'IA incarnée : des failles de raisonnement spatial qui pourraient induire en erreur les systèmes de vision industrielle, et des goulots d'étranglement d'efficacité qui limitent les déploiements en temps réel. Des problèmes d'enchevêtrement de la distance verticale dans les VLMs à une inférence vidéo 2,65 fois plus rapide, ces articles montrent comment des modèles apparemment robustes peuvent échouer dans des cas limites — et comment les corriger avant qu'ils n'atteignent le sol de l'usine.
En bref
- Les VLMs confondent position verticale et distance, risquant des erreurs de calcul industrielles dans des environnements non structurés Pourquoi ce qui est loin semble en haut.
- EarlyTom compresse les tokens vidéo au sein de l'encodeur visuel, réduisant le TTFT de 2,65× sans perte de précision EarlyTom.
- Skill0.5 achemine dynamiquement les compétences pour équilibrer internalisation et externalisation, améliorant la robustesse OOD Skill0.5.
- Colored Noise Sampling accélère les modèles de diffusion de 30 à 50 % grâce à une planification du bruit adaptée aux fréquences Colored Noise Sampling.
Quand votre robot se trompe sur la distance parce que la caméra était orientée vers le haut
Pourquoi ce qui est loin semble en haut : Analyse de la représentation spatiale dans les modèles Vision-Language Pourquoi ce qui est loin semble en haut
Les VLMs comme OpenVLA ou NVIDIA Cosmos obtiennent des scores élevés sur les benchmarks de raisonnement spatial, mais cet article révèle une faille systémique : ils confondent la position verticale dans l'image avec la distance physique. Dans les images naturelles, les objets éloignés apparaissent souvent plus haut dans le cadre — un raccourci statistique que les modèles exploitent. Lorsqu'ils sont testés sur des exemples contre-intuitifs (par exemple, un objet proche placé en haut du cadre), la précision chute brutalement, même si les scores des benchmarks s'améliorent avec l'échelle.
Les auteurs introduisent SpatialTunnel, un benchmark synthétique qui élimine les corrélations des images naturelles pour isoler ce biais. Les modèles avec des axes spatiaux désenchevêtrés — où la position verticale et la distance sont représentées indépendamment — montrent une plus grande robustesse sur diverses tâches. Cela est crucial pour les déploiements industriels où la perspective varie : un robot de prélèvement pourrait mal évaluer la profondeur si son VLM s'appuie sur des heuristiques verticales plutôt que sur une véritable compréhension 3D.
Pourquoi un DSI devrait s'en soucier :
- Risque : Les raccourcis spatiaux pourraient entraîner des erreurs coûteuses en logistique, inspection ou robotique collaborative, en particulier dans des environnements non structurés (par exemple, des entrepôts avec des angles de caméra variables).
- Conformité : La classification à haut risque de l'EU AI Act pour l'IA industrielle exige un raisonnement spatial explicable. Les représentations enchevêtrées peuvent ne pas répondre aux exigences d'auditabilité.
- Coût : Le réentraînement ou le fine-tuning des VLMs pour désenchevêtrer les axes spatiaux pourrait prolonger les délais de déploiement de 3 à 6 mois. Une détection précoce via des benchmarks comme SpatialTunnel peut permettre d'économiser des ressources.
Perspective du stack d'IA physique :
- SENSE : Les pipelines de perception doivent valider que les VLMs produisent de véritables caractéristiques spatiales 3D, et non des heuristiques. Des benchmarks synthétiques comme SpatialTunnel devraient être intégrés dans la validation de la fusion de capteurs.
- REASON : Le désenchevêtrement spatial devrait être une exigence non fonctionnelle pour les modèles VLA, au même titre que la précision. Cela peut nécessiter des changements architecturaux (par exemple, des encodages positionnels 3D explicites).
Video-LLMs : Réduire la surcharge des tokens sans sacrifier la précision
EarlyTom : La compression précoce des tokens accélère la compréhension vidéo EarlyTom
Les Video-LLMs comme LLaVA-OneVision-7B traitent des milliers de tokens visuels par image, créant un goulot d'étranglement pour les applications en temps réel (par exemple, les chariots élévateurs autonomes ou le contrôle qualité). EarlyTom introduit un cadre sans entraînement qui compresse les tokens au sein de l'encodeur visuel, réduisant le temps jusqu'au premier token (TTFT) jusqu'à 2,65× et les FLOPs de 61 % sur un GPU A100 — sans perte de précision EarlyTom.
L'innovation clé est une stratégie de sélection de tokens spatiaux découplée qui préserve les régions critiques (par exemple, les défauts sur une ligne de production) tout en éliminant tôt les tokens de fond redondants. Cela est particulièrement précieux pour les déploiements en périphérie où les ressources de calcul sont limitées (par exemple, Jetson Orin ou Thor).
Pourquoi un DSI devrait s'en soucier :
- Prêt pour le déploiement : EarlyTom est une solution plug-and-play pour les Video-LLMs existants, ne nécessitant aucun réentraînement. Cela accélère la mise sur le marché des systèmes d'IA basés sur la vidéo (par exemple, la maintenance prédictive, la surveillance de la sécurité des travailleurs).
- Efficacité des coûts : Réduire le TTFT de 2,65× pourrait diviser par deux le nombre de GPUs nécessaires pour l'inférence en temps réel, réduisant les coûts cloud de 40 à 50 % pour les charges de travail intensives en vidéo EarlyTom.
- Viabilité en périphérie : Des FLOPs réduits rendent le traitement vidéo haute résolution réalisable sur des appareils périphériques, diminuant la dépendance à la connectivité cloud — un facteur critique pour la souveraineté des données dans l'UE sous le RGPD.
Perspective du stack d'IA physique :
- COMPUTE : EarlyTom déplace le fardeau de la compression de post-encodage à intra-encodage, optimisant la couche COMPUTE pour l'inférence en périphérie. Cela s'aligne avec les tendances comme NVIDIA Jetson Thor, qui privilégie le traitement visuel à faible latence.
- CONNECT : Un TTFT plus rapide réduit les besoins en bande passante pour le streaming vidéo vers le cloud, atténuant les contraintes de la couche CONNECT dans les environnements à bande passante limitée (par exemple, les ports, les mines).
Apprentissage par renforcement basé sur les compétences : Quand internaliser vs. utiliser
Skill0.5 : Internalisation et utilisation conjointes des compétences pour la généralisation hors distribution Skill0.5
Les agents d'apprentissage par renforcement (RL) basés sur les compétences comme π0.5 ou GR00T doivent équilibrer deux types de compétences : générales (par exemple, la navigation, la reconnaissance d'objets) et spécifiques à une tâche (par exemple, saisir un objet fragile). Les méthodes existantes imposent un choix binaire : soit externaliser toutes les compétences (ajoutant une surcharge contextuelle), soit les internaliser (risquant le surapprentissage). Skill0.5 introduit un routeur dynamique qui attribue les tâches à des « niveaux de maîtrise » et applique une optimisation adaptée :
- Les compétences générales sont internalisées via une distillation privilégiée (par exemple, apprentissage à partir d'un modèle enseignant) pour construire une base cognitive pour les tâches difficiles.
- Les compétences spécifiques à une tâche sont utilisées de manière externe pour les tâches faciles, avec un sondage diagnostique pour pénaliser les raccourcis.
Sur ALFWorld et WebShop, Skill0.5 surpasse les bases de référence basées sur la mémoire et les compétences, tant dans les scénarios en distribution que hors distribution (OOD). Cela est crucial pour les robots industriels opérant dans des environnements dynamiques (par exemple, des entrepôts avec des agencements changeants).
Pourquoi un DSI devrait s'en soucier :
- Robustesse OOD : L'approche en niveaux de Skill0.5 réduit les taux d'échec dans les cas limites (par exemple, un robot rencontrant un objet inconnu), une exigence clé pour la conformité au règlement européen sur les machines.
- Compromis de calcul : Internaliser les compétences générales réduit la surcharge contextuelle à l'exécution, tandis qu'externaliser les compétences spécifiques à une tâche évite le surapprentissage. Cela équilibre l'efficacité des couches COMPUTE et REASON.
- Évolutivité : Le routeur dynamique peut s'adapter à de nouvelles tâches sans réentraînement complet, réduisant le coût d'expansion des flottes robotiques.
Perspective du stack d'IA physique :
- REASON : Le routeur de Skill0.5 opère au niveau de la couche REASON, sélectionnant dynamiquement entre les compétences internalisées et externalisées. Cela sert de modèle pour les futures architectures VLA.
- ORCHESTRATE : Le système de niveaux de maîtrise pourrait informer la coordination des flux de travail, en priorisant les tâches en fonction de la disponibilité des compétences.
Piloter les LLMs avec du texte : Une approche unifiée du contrôle des activations
UniSteer : Flux guidé par le texte dans l'espace d'activation pour un pilotage polyvalent des LLMs UniSteer
Le pilotage basé sur les activations (par exemple, la modification des représentations internes des LLMs pour contrôler le style ou la personnalité) est puissant mais fragmenté : chaque comportement nécessite une intervention distincte. UniSteer unifie cela en apprenant un champ de vitesse conditionnel dans l'espace d'activation, permettant un pilotage guidé par le texte pour :
- Le contrôle comportemental (par exemple, « soyez plus prudent »)
- La véracité (par exemple, « évitez les hallucinations »)
- Les concepts fins (par exemple, « concentrez-vous sur les risques pour la sécurité »)
- Le suivi d'instructions avec contraintes multiples (par exemple, « soyez concis et poli »)
UniSteer fonctionne en transportant partiellement une activation source vers une condition textuelle cible, puis en la régénérant. Le même modèle prend également en charge la classification dans l'espace d'activation (par exemple, détecter des sorties non sûres). C'est un changement de jeu pour les LLMs industriels où la conformité et la sécurité sont non négociables (par exemple, les exigences de transparence de l'EU AI Act).
Pourquoi un DSI devrait s'en soucier :
- Conformité : Le pilotage guidé par le texte d'UniSteer offre un contrôle auditable des sorties des LLMs, répondant aux exigences de l'EU AI Act pour les applications à haut risque.
- Flexibilité de déploiement : Un seul modèle peut s'adapter à plusieurs cas d'usage (par exemple, service client vs. support technique), réduisant le besoin de fine-tuning.
- Atténuation des risques : La classification dans l'espace d'activation peut signaler les sorties non sûres ou non conformes avant qu'elles n'atteignent les utilisateurs, réduisant la responsabilité.
Perspective du stack d'IA physique :
- REASON : UniSteer opère au niveau de la couche REASON, permettant un contrôle dynamique du comportement des LLMs sans modifier les poids. Cela est idéal pour les déploiements en périphérie où les mises à jour des modèles sont coûteuses.
- ORCHESTRATE : La capacité de classification pourrait déclencher des ajustements de flux de travail (par exemple, escalader un risque pour la sécurité vers un opérateur humain).
Modèles de diffusion : Un échantillonnage plus rapide avec du bruit coloré
Échantillonnage de diffusion avec bruit coloré Colored Noise Sampling
Les modèles de diffusion (par exemple, Stable Diffusion 3, FLUX) génèrent des images de haute qualité mais souffrent d'un échantillonnage lent en raison de leur biais spectral : ils résolvent les basses fréquences tôt et les hautes fréquences tard. Les solveurs SDE standard injectent un bruit blanc uniforme, gaspillant de l'énergie sur des fréquences déjà résolues. Colored Noise Sampling (CNS) introduit une planification dynamique du bruit dépendante des fréquences qui alloue de l'énergie uniquement aux bandes non résolues, améliorant les scores FID de 20 à 30 % sur différentes architectures (SiT, JiT, FLUX) sans réentraînement Colored Noise Sampling.
Pour les applications industrielles (par exemple, la génération de données synthétiques pour l'entraînement des robots), CNS réduit le temps d'échantillonnage de 30 à 50 %, réduisant les coûts cloud pour les grands ensembles de données Colored Noise Sampling. Il est également sans entraînement, ce qui en fait une mise à niveau plug-and-play pour les pipelines existants.
Pourquoi un DSI devrait s'en soucier :
- Efficacité des coûts : Un échantillonnage plus rapide réduit les heures de GPU cloud pour la génération de données synthétiques, un facteur de coût clé pour les pipelines sim-to-real.
- Qualité : Des scores FID plus bas signifient des données synthétiques plus réalistes, améliorant les performances des tâches en aval (par exemple, la détection de défauts dans la fabrication).
- Viabilité en périphérie : Un temps d'échantillonnage réduit rend la diffusion sur appareil réalisable pour des applications comme la génération de scènes en temps réel dans la formation en AR/VR.
Perspective du stack d'IA physique :
- COMPUTE : CNS optimise la couche COMPUTE pour les modèles de diffusion, réduisant la latence pour la génération de données synthétiques — un goulot d'étranglement critique dans les workflows sim-to-real.
- SENSE : Des données synthétiques de meilleure qualité améliorent la robustesse de la couche SENSE, en particulier dans les domaines où les données sont rares (par exemple, la détection de défauts rares).
Points clés pour les dirigeants
-
Auditez vos VLMs pour les biais spatiaux
- Utilisez des benchmarks comme SpatialTunnel pour tester si vos modèles de vision s'appuient sur des heuristiques (par exemple, position verticale = distance) plutôt que sur un véritable raisonnement 3D. Cela est crucial pour la conformité à l'EU AI Act dans les applications à haut risque Pourquoi ce qui est loin semble en haut.
-
Accélérez les Video-LLMs avec EarlyTom
- Remplacez la compression standard des tokens par EarlyTom pour réduire le TTFT de 2,65× et les FLOPs de 61 % sans perte de précision EarlyTom.
-
Adoptez l'apprentissage par compétences en niveaux pour une RL robuste
- Implémentez le routeur dynamique de Skill0.5 pour équilibrer les compétences générales internalisées et les compétences spécifiques à une tâche externalisées. Cela améliore la robustesse OOD, une exigence clé pour la conformité au règlement européen sur les machines Skill0.5.
-
Unifiez le pilotage des LLMs avec UniSteer
- Remplacez le contrôle fragmenté basé sur les activations par UniSteer pour permettre un pilotage guidé par le texte pour la conformité, la sécurité et les scénarios à contraintes multiples. Cela simplifie l'audit et réduit les coûts de fine-tuning UniSteer.
-
Améliorez l'échantillonnage de diffusion avec CNS
- Déployez Colored Noise Sampling pour réduire de 30 à 50 % le temps de génération de données synthétiques et améliorer la qualité. C'est une méthode sans entraînement pour optimiser les pipelines sim-to-real Colored Noise Sampling.
