Les Ensembles Linéaires Effacent les Filigranes des LLM : La Fragilité des Perturbations Distributionnelles dans les Systèmes d'IA en Production

Pourquoi l'accès multi-modèles brise le filigranage statistique et ce que cela signifie pour la gouvernance, la conformité et la sécurité de l'IA en entreprise

TL;DR

• Les ensembles linéaires de seulement 2 modèles réduisent les taux de détection des filigranes de >99 % à <5 %, effaçant les signatures statistiques par moyennage distributionnel Les ensembles linéaires éliminent les filigranes.
• Les systèmes d'IA physique (robotique, edge AI, workflows multi-agents) présentent des risques élevés : les ensembles émergent naturellement de la redondance, des modèles de secours et de la fusion de capteurs.
• La conformité à l'EU AI Act et au NIST AI RMF est menacée : les schémas de filigranage supposent un accès à un modèle unique, mais les systèmes en production sont intrinsèquement multi-modèles.
• L'atténuation nécessite des compromis : le filigranage cryptographique résiste aux ensembles mais ajoute des dépendances matérielles ; les schémas adaptatifs améliorent la robustesse mais augmentent la latence.

Introduction : Le Paradoxe du Filigranage à l'Ère de la Prolifération des Modèles

La démocratisation rapide des grands modèles de langage (LLM) a créé un défi urgent en matière de gouvernance : comment distinguer de manière fiable un contenu généré par l'IA d'un texte rédigé par un humain ? Le filigranage est apparu comme la principale solution technique, intégrant des signatures statistiques imperceptibles dans les distributions de tokens pour permettre une détection a posteriori. Les premiers schémas, comme les listes rouge-vert (Kirchenbauer et al., 2023) et l'échantillonnage minimum exponentiel (Aaronson, 2023), ont démontré des taux de détection quasi parfaits (>99 % de vrais positifs pour <1 % de faux positifs) dans des conditions contrôlées. Dès 2025, le filigranage est passé d'une curiosité académique à une obligation pour les entreprises, avec l'EU AI Act (Article 52) exigeant explicitement des "mesures techniques pour identifier les contenus générés par l'IA" et le NIST's AI Risk Management Framework (AI RMF 1.0) recommandant le filigranage comme mécanisme central de transparence pour les systèmes à haut risque (NIST AI RMF).

Pourtant, cette réussite en matière de gouvernance comporte une faille critique : les schémas de filigranage supposent un accès à un modèle unique. En pratique, les systèmes d'IA modernes n'exposent que rarement un seul modèle. Ils déploient plutôt des ensembles linéaires — des combinaisons pondérées de plusieurs LLM — pour optimiser les coûts, la latence, la redondance et la spécialisation. Un système en production pourrait acheminer les requêtes vers :

• Un modèle de 7 milliards de paramètres pour une inférence edge à faible latence (par exemple, sur NVIDIA Jetson Orin)
• Un modèle de 70 milliards de paramètres pour une inférence cloud à haute précision
• Un modèle spécialisé affiné pour des tâches spécifiques (par exemple, juridique ou médical)
• Un modèle de secours lorsque les systèmes principaux sont indisponibles

Lorsque les utilisateurs accèdent à ces modèles simultanément (par exemple, via un équilibrage de charge API) ou séquentiellement (par exemple, via des workflows agentiques), le texte résultant est une combinaison linéaire de distributions filigranées. La recherche présentée dans "Linear Ensembles Wash Away Watermarks" démontre que cette opération triviale — le moyennage des logits de tokens — efface les filigranes avec une quasi-certitude. Un simple ensemble linéaire de seulement deux modèles réduit les taux de détection de >99 % à <5 %, même lorsque les schémas de filigranage sont par ailleurs robustes face à la paraphrase, à la traduction et aux attaques adversariales.

La Pile d'IA Physique : Où la Fragilité des Filigranes Devient un Risque de Sécurité

Cette vulnérabilité n'est pas seulement une préoccupation académique — elle a un impact direct sur les systèmes d'IA physique où le filigranage est de plus en plus déployé pour la sécurité, la conformité et la traçabilité. Considérons la pile d'IA physique :

Dans cette pile, le filigranage est souvent appliqué au niveau de la couche REASON (par exemple, pour tracer les plans d'action générés par les LLM) ou de la couche ACT (par exemple, pour auditer les commandes robotiques). Cependant, les ensembles linéaires sont omniprésents dans l'IA physique :

1. Inférence Hybride Edge-Cloud (SENSE → COMPUTE → REASON)
   • Un système robotique pourrait utiliser un petit modèle sur appareil (par exemple, 7 milliards de paramètres sur Jetson Orin) pour l'évitement d'obstacles en temps réel et un grand modèle cloud (par exemple, 70 milliards de paramètres) pour la planification de haut niveau.
   • Le plan d'action final est une combinaison pondérée des sorties des deux modèles, effaçant les filigranes.
2. Orchestration Multi-Agents (ORCHESTRATE → REASON)
   • Une cellule de fabrication pourrait déployer des agents spécialisés (par exemple, un pour l'inspection qualité, un pour la maintenance prédictive).
   • L'orchestrateur (par exemple, ROS 2 ou Kubernetes) fusionne leurs sorties en un flux de commandes unifié, détruisant les signaux de filigrane.
3. Secours et Redondance (COMPUTE → REASON → ACT)
   • Si le modèle principal tombe en panne (par exemple, en raison d'une latence réseau), un modèle de secours prend le relais.
   • Le texte résultant est un mélange de deux distributions filigranées, rendant la détection impossible.

Le Paradoxe du Filigranage : Gouvernance vs. Réalité

Le paradoxe central est le suivant : les schémas de filigranage sont conçus pour un monde où les utilisateurs interagissent avec un seul modèle, mais les systèmes en production sont intrinsèquement multi-modèles. Ce décalage crée trois modes de défaillance critiques :

1. Faux Négatifs dans les Audits de Conformité

   • Selon l'EU AI Act, les systèmes d'IA à haut risque doivent "permettre l'identification des contenus générés par l'IA" (EU AI Act, Article 52).
   • Un robot de fabrication utilisant un ensemble linéaire de deux modèles filigranés produirait des sorties indétectables, violant la conformité malgré des efforts de bonne foi.

2. Risques de Sécurité dans l'IA Physique

   • Le filigranage est souvent utilisé pour tracer l'origine des commandes robotiques (par exemple, pour déboguer des défaillances ou attribuer une responsabilité).
   • Si un ensemble linéaire efface le filigrane, l'analyse des causes racines devient impossible, créant des angles morts de sécurité dans les systèmes autonomes.

3. Exploitation Adversariale

   • Les attaquants peuvent contourner facilement le filigranage en interrogeant plusieurs modèles et en moyennant leurs sorties.
   • Cette méthode est beaucoup moins coûteuse et plus fiable que les attaques adversariales comme la paraphrase ou la substitution de tokens.

La Chronologie : De la Curiosité Académique à la Crise en Production

L'évolution du filigranage des LLM et sa collision avec les ensembles linéaires peuvent être retracées à travers quatre phases distinctes :

La Vulnérabilité Fondamentale : Pourquoi les Ensembles Linéaires Brisent les Filigranes

Pour comprendre pourquoi les ensembles linéaires sont si efficaces pour effacer les filigranes, il est nécessaire d'examiner le fonctionnement des schémas de filigranage au niveau de la distribution des tokens. La plupart des schémas opèrent en perturbant les logits de la distribution de sortie du LLM. Par exemple :

• Listes Rouge-Vert (Kirchenbauer et al., 2023) : Les tokens sont répartis en listes "rouge" (filigranés) et "verte" (non filigranés). Lors de la génération, les logits des tokens rouges sont augmentés d'un biais fixe (par exemple, +2,0), les rendant plus susceptibles d'être échantillonnés.
• Échantillonnage Minimum Exponentiel (Aaronson, 2023) : Une fonction pseudo-aléatoire sélectionne une "clé de filigrane" pour chaque position de token. Les logits sont ensuite pondérés exponentiellement en fonction de cette clé, créant un biais statistique détectable.

L'idée clé de "Linear Ensembles Wash Away Watermarks" est que ces perturbations sont additives dans l'espace des logits. Lorsque deux modèles filigranés sont combinés via un ensemble linéaire, les logits résultants sont :

où $\alpha \in [0, 1]$ est le poids de l'ensemble. Le signal de filigrane — un biais fixe ajouté à des tokens spécifiques — est dilué par l'opération de moyennage. L'article formalise cette intuition avec une borne théorique : pour tout schéma de filigranage ajoutant un biais fixe $b$ à un sous-ensemble de tokens, le taux de détection $D$ pour un ensemble linéaire de $k$ modèles satisfait :

où $\sigma$ est l'écart-type des logits sous l'hypothèse nulle (pas de filigrane). Pour $k=2$ et des valeurs typiques de $b$ et $\sigma$, cette borne fait s'effondrer les taux de détection à <5 % Linear Ensembles Wash Away Watermarks.

Implications dans le Monde Réel : Où les Ensembles Linéaires Sont Inévitables

Les ensembles linéaires ne sont pas un cas limite théorique — ils constituent l'architecture par défaut dans les systèmes d'IA modernes. Voici trois scénarios à fort impact où la fragilité des filigranes devient un risque critique :

1. Robotique Hybride Edge-Cloud

• Cas d'usage : Un robot d'entrepôt utilise un modèle de 7 milliards de paramètres sur appareil (Jetson Orin) pour la navigation en temps réel et un modèle de 70 milliards de paramètres dans le cloud pour la planification de tâches de haut niveau.
• Mécanisme d'ensemble : Le plan d'action final est une moyenne pondérée des sorties des deux modèles (par exemple, 70 % cloud, 30 % edge).
• Échec du filigrane : Le filigrane du modèle cloud est dilué par la sortie du modèle edge, rendant la détection impossible Linear Ensembles Wash Away Watermarks.
• Risque de sécurité : Si le robot provoque un accident, la responsabilité ne peut être attribuée car le filigrane est effacé.

2. Orchestration Multi-Agents

• Cas d'usage : Une cellule de fabrication déploie trois agents spécialisés :
  1. Un agent d'inspection qualité (affiné pour la détection de défauts)
  2. Un agent de maintenance prédictive (affiné pour la surveillance des équipements)
  3. Un agent de planification de tâches (LLM généraliste)
• Mécanisme d'ensemble : L'orchestrateur (par exemple, ROS 2) fusionne leurs sorties en un flux de commandes unifié.
• Échec du filigrane : Le filigrane de chaque agent est moyenné dans la commande finale Linear Ensembles Wash Away Watermarks.
• Risque de conformité : Le système viole le Règlement Machines de l'UE