Ces chercheurs ont piraté les pensées secrètes des IA. et c'est un scandale.

UNE FAILLE QUI DÉVOILE LES PENSÉES SECRÈTES DES IA

Des informaticiens viennent de mettre au jour une faille majeure dans les modèles d’intelligence artificielle les plus performants. Grâce à une nouvelle méthode, ils parviennent à extraire les traces de raisonnement – ces étapes de réflexion écrites que l’IA utilise pour résoudre un problème. « Tous les principaux fournisseurs de modèles d’avant-garde que nous avons testés partagent cette vulnérabilité », explique Alexander Panfilov, informaticien à l’université de Tübingen en Allemagne et coauteur de l’étude. Cette faille pourrait permettre des fuites massives d’informations personnelles et ouvrir la porte à des attaques par distillation de raisonnement à grande échelle.

LA DISTILLATION : UNE TECHNIQUE CONTROVERSÉE

La distillation est une méthode bien connue pour copier efficacement les capacités d’un modèle d’IA vers un autre. Elle est particulièrement utilisée pour développer des modèles open-weight – c’est-à-dire téléchargeables et modifiables par tous. Pourtant, cette technique est devenue un sujet de controverse ces derniers mois. En février, OpenAI a accusé la société chinoise DeepSeek d’avoir copié l’un de ses modèles pour créer un modèle de raisonnement nommé R1. En juin, Anthropic a fait une déclaration similaire concernant Alibaba, affirmant que cette dernière avait systématiquement distillé ses modèles pour construire le sien, Qwen.

DES SIMILITUDES TROUBLANTES ENTRE LES MODÈLES

Dans leur étude, les chercheurs montrent que le modèle chinois Kimi K3 de Moonshot AI produit des résultats étrangement similaires aux traces de raisonnement cachées de Claude Opus 4.8 et GPT 5.6 Sol pour certains types de questions. Malgré ces similitudes frappantes, les chercheurs précisent qu’ils ne peuvent pas établir de manière causale que ces modèles chinois aient été distillés à partir des modèles américains. Deux autres modèles open-weight, DeepSeek (Chine) et Inkling (États-Unis), n’ont en revanche pas montré ces mêmes similitudes de raisonnement avec Claude Opus.

Moonshot AI et Z.ai n’ont pas répondu à une demande de commentaire avant la publication de l’étude.

COMMENT FONCTIONNE CETTE ATTAQUE ?

Les modèles d’IA avancés résolvent des problèmes complexes en les décomposant en parties plus petites, analysées une par une. Ce processus, appelé chaîne de pensée (chain of thought), est généralement gardé secret par les entreprises pour éviter que d’autres ne l’utilisent pour entraîner de nouveaux modèles. Pourtant, une version chiffrée de ce raisonnement est souvent envoyée sur l’ordinateur de l’utilisateur pour alléger la charge de calcul.

L’attaque des chercheurs repose sur un principe simple : la plupart des entreprises proposent plusieurs versions de leurs modèles, de tailles différentes. Les plus grands sont plus performants mais aussi plus coûteux à utiliser. Les utilisateurs optent parfois pour des modèles plus petits pour réduire les coûts.

Panfilov et ses collègues ont découvert qu’en fournissant les traces de raisonnement chiffrées à une version plus petite du même modèle, ils pouvaient révéler le raisonnement interne caché. Ces versions plus petites ont reçu moins d’entraînement d’alignement – un processus qui permet de rendre les modèles plus sûrs et plus fiables. Contrairement aux grands modèles, ces versions plus petites sont donc moins susceptibles de refuser de révéler leurs pensées internes.

UNE FAILLE QUI PERMET DE RÉCUPÉRER DES DONNÉES SENSIBLES

La même méthode a également révélé des informations secrètes, comme des clés d’API ou des mots de passe, intégrées dans les traces de raisonnement capturées depuis l’ordinateur d’un utilisateur. Panfilov et ses coauteurs ont alerté OpenAI, Anthropic et Google de cette vulnérabilité le mois dernier. Chaque entreprise a depuis ajusté ses API pour limiter le problème. Bien qu’il ne soit plus possible d’extraire des informations privées de cette manière, Panfilov affirme que certaines traces de raisonnement peuvent encore être récupérées avec la même méthode. Pour éliminer totalement le risque de distillation, il faudrait une refonte fondamentale du fonctionnement des API de ces entreprises.

« Nous apprécions les recherches indépendantes sur nos modèles et avons commencé à mettre en place des mesures d’atténuation à court terme pour les comportements de rejouage décrits dans le rapport », déclare Michael Aciman, porte-parole d’Anthropic. Il ajoute que la Recherche n’a pas impliqué la récupération de clés de chiffrement, l’accès à l’infrastructure d’Anthropic ou la récupération de données personnelles depuis ses systèmes.

UN ENJEU GÉOPOLITIQUE MAJEUR

La distillation est devenue un sujet de première importance sur la scène géopolitique ces derniers mois, alors que les entreprises américaines et chinoises se livrent une bataille pour la suprématie en matière d’IA. Les partisans d’une ligne dure envers la Chine affirment que ce pays tire un avantage stratégique en distillant la technologie américaine pour construire des modèles open-weight moins coûteux à utiliser.

D’autres, en revanche, estiment que la distillation est une méthode largement utilisée pour aider rapidement à améliorer les capacités d’un modèle d’IA dans certains domaines. Mark Zuckerberg, PDG de Meta, a déclaré cette semaine dans un article de blog que la distillation « est un principe important du fonctionnement de l’écosystème open source » et a mis en garde contre le fait que restreindre cette pratique placerait les États-Unis dans une position désavantageuse.

LA DISTILLATION A-T-ELLE VRAIMENT UN IMPACT SUR LA CHINE ?

Kyle Miller, chercheur au Center for Security and Emerging Technologies, un groupe de réflexion sur les politiques technologiques, estime qu’il est difficile de savoir dans quelle mesure la distillation aide réellement la Chine. Selon lui, cette technique n’améliore que de manière limitée les capacités des modèles existants, et les entreprises chinoises semblent avoir l’expertise nécessaire pour construire des modèles de pointe entièrement à partir de zéro si nécessaire. « Personne aux États-Unis ne sait vraiment dans quelle mesure la distillation profite aux laboratoires chinois », déclare Miller. « Si on empêchait les laboratoires chinois de distiller, à mon avis, cela ne changerait pas radicalement le paysage concurrentiel. »

UN TEST RÉVÉLATEUR : LES MODÈLES CHINOIS ONT-ILS COPIÉ LES IA AMÉRICAINES ?

Pour vérifier si des modèles open-weight pourraient avoir été distillés à partir de modèles fermés, les chercheurs ont posé 90 questions à chaque modèle. Lorsqu’ils ont fourni les premiers mots des traces de raisonnement capturées à partir des modèles propriétaires à certains modèles open-weight, ils ont parfois observé que ces derniers généraient des réponses remarquablement similaires. Ce phénomène était particulièrement marqué avec Kimi K3, affirment les chercheurs. Sur les réseaux sociaux chinois, certains utilisateurs avaient déjà émis l’hypothèse qu’il était possible de découvrir et d’utiliser les traces de raisonnement cachées pour distiller des modèles.

L’AVENIR DE LA DISTILLATION : ENTRE PROGRÈS ET RISQUES

Les entreprises et les décideurs politiques pourraient introduire des mesures visant à limiter la distillation, mais même dans ce cas, les modèles d’IA pourraient continuer à révéler leurs pensées internes de manière surprenante. Les chercheurs soulignent que cette faille met en lumière l’importance de repenser la sécurité des modèles d’IA, notamment en ce qui concerne la protection des données sensibles et la prévention des fuites d’informations.

CE QU’IL FAUT RETENIR

Cette découverte marque un tournant dans la compréhension des vulnérabilités des modèles d’IA les plus avancés. Elle révèle non seulement une faille majeure en matière de sécurité, mais aussi des soupçons d’espionnage technologique entre les États-Unis et la Chine. Les chercheurs appellent à une refonte des API pour éliminer définitivement ce risque, tout en soulignant que la distillation reste un outil puissant pour l’innovation en IA. Une chose est sûre : cette affaire va relancer les débats sur la régulation de l’intelligence artificielle et la protection des données à l’échelle mondiale.

POUR ALLER PLUS LOIN

Si ce sujet vous intéresse, voici quelques pistes pour approfondir :

• Lire l’étude complète des chercheurs sur les traces de raisonnement et la distillation des modèles d’IA.

• Explorer les déclarations d’OpenAI et d’Anthropic concernant les accusations de distillation de leurs modèles par des entreprises chinoises.

• Suivre les évolutions des politiques de sécurité des API des principaux fournisseurs de modèles d’IA.