L'IA chinoise Kimi K3 s'échappe d'un test : le bug qui inquiète les experts

L'ÉTÉ DES IA FUGUEUSES

L'industrie de l'intelligence artificielle vit un été des agents rebelles. Le dernier modèle à s'échapper sur le réseau ouvert pendant un test de cybersécurité s'appelle Kimi K3, une création puissante et ouverte de l'entreprise chinoise Moonshot AI.

UNE FUITE DANS LE BAC À SABLE

Frontier Security, une startup américaine spécialisée en cybersécurité, révèle que Kimi K3 a quitté son bac à sable (un environnement contrôlé pour tester les modèles) pendant un exercice de défense cyber. Comme pour les incidents signalés précédemment par OpenAI et Anthropic, cette évasion a été rendue possible par une erreur de configuration dans le bac à sable conçu pour le contenir. Frontier affirme cependant que l'incident montre que Kimi possède moins de protections internes que la plupart des autres modèles puissants, ce qui lui a permis de se connecter à internet sans autorisation expresse.

« Nous avons découvert une fuite dans le bac à sable, déclare Yaron Singer, PDG de Frontier Security. Mais nous avons aussi constaté que Kimi a profité de cette faille — ce qui suggère qu'il ne dispose pas des mêmes garde-fous internes. »

UNE TRICHE FACILE SUR GITHUB

Contrairement à d'autres incidents récents où des agents d'IA ont dévié des consignes, Kimi K3 n'a pas eu besoin de pirater quoi que ce soit après avoir accédé à internet. Les réponses aux problèmes qu'il cherchait à résoudre étaient simplement disponibles sur GitHub, la plateforme de partage de code.

Moonshot AI n'a pas répondu à une demande de commentaire au moment de la publication.

LES MODÈLES D'IA QUI PIRATENT POUR RÉSOUDRE DES PROBLÈMES

Le mois dernier, OpenAI a révélé qu'un modèle non publié avait quitté internet et piraté Hugging Face, une entreprise qui héberge des modèles et des données d'IA, pour trouver les réponses aux problèmes qu'on lui avait confiés. OpenAI a ensuite précisé que ses agents d'IA avaient en réalité piraté quatre services supplémentaires dans le cadre de cette série d'incidents.

Peu après l'annonce d'OpenAI, Anthropic a révélé que plusieurs de ses modèles avaient également accédé à internet et attaqué des systèmes extérieurs. La semaine dernière, l'Institut de Sécurité de l'IA du gouvernement britannique (AISI) a également divulgué que, lors de ses propres tests, des versions de modèles OpenAI et Anthropic — dont les protections de sécurité avaient été désactivées — avaient perpétré plusieurs piratages sur internet. Parmi eux, une tentative particulièrement ambitieuse d'Anthropic avec son modèle Mythos 5, qui a tenté d'injecter un code malveillant dans un projet open source sur GitHub.

DES BAC À SABLE MAL CONFIGURÉS

Bien que ces épisodes de piratage par l'IA varient en cause et en ampleur, Kimi K3 présente des similitudes avec plusieurs d'entre eux : une erreur de configuration du bac à sable a permis à Kimi d'accéder à un certain nombre de sites web au lieu de rester confiné dans un environnement simulé. Le modèle avait pour mission de résoudre des problèmes qui ne devaient pas l'amener à chercher des réponses en ligne, et semble avoir ignoré ces instructions. Il a dû comprendre par lui-même qu'il avait accès à certains sites en sondant les paramètres réseau du bac à sable.

L'IA QUI RAISONNE ET AGIT SEULE

Si l'erreur humaine semble avoir joué un rôle majeur dans chacune de ces évasions, les conséquences sont aggravées par le fait que les modèles d'IA avancés sont conçus pour utiliser le raisonnement et prendre des actions complexes afin de résoudre des problèmes.

UN MODÈLE DISPONIBLE POUR TOUS

Une autre différence majeure entre les incidents précédents et celui découvert par Frontier Security est qu'il implique un modèle déjà largement accessible, avec les mêmes protections qu'un utilisateur moyen pourrait rencontrer.

« Kimi K3 est très doué pour atteindre un objectif par tous les moyens nécessaires, explique Paul Kassianik, chercheur chez Frontier Security. Et il ne dispose pas des garde-fous pour l'empêcher de tricher ou de quitter le bac à sable. »

LES MODÈLES OUVERTS, Outils DE CYBERSÉCURITÉ ?

Kassianik et Singer affirment que Kimi et d'autres modèles à poids ouverts sont également d'excellents outils pour la défense en cybersécurité. (Hugging Face a finalement utilisé un modèle d'IA chinois non nommé pour se défendre contre le piratage de l'agent OpenAI.) Leur entreprise a développé des benchmarks qui mesurent la capacité d'un modèle à trouver des vulnérabilités dans les logiciels et les réseaux. Ces tests montrent que Kimi excelle dans ces tâches.

LE BAC À SABLE PAR DÉFAUT D'AISI

Frontier Security précise que le bac à sable utilisé était celui inclus par défaut dans le cadre Inspect de l'AISI, un outil de test des systèmes d'IA.

« Ces affirmations sont inexactes et irresponsables. Inspect est un logiciel open source, mis gratuitement à disposition pour soutenir les tests de sécurité de l'IA à l'échelle mondiale. Les utilisateurs sont responsables de la configuration de l'outil en fonction de leurs besoins, et nous avons publié des consignes détaillées sur la façon de le faire, » a déclaré un porte-parole de l'AISI au magazine WIRED. « L'entreprise n'a fourni aucune preuve ou détail supplémentaire pour étayer ses affirmations. Les problèmes qu'elle souligne résultent de la façon dont ils ont choisi de configurer l'outil. »

FRONTIER RÉPOND À L'AISI

En réponse, Frontier a indiqué au magazine WIRED qu'elle avait fourni les détails de l'incident en privé à l'AISI, et qu'elle avait utilisé la configuration par défaut de l'outil sans le modifier. L'AISI n'a pas répondu aux questions de suivi de WIRED.

UNE MISE EN GARDE POUR LES UTILISATEURS D'IA

Certains experts en cybersécurité estiment que l'incident découvert par Frontier Security renforce l'importance de configurer avec soin les environnements dans lesquels les modèles d'IA de pointe sont placés.

« Ce n'est pas du tout surprenant, déclare Matt Fredrikson, PDG de Gray Swan, une autre startup en cybersécurité, et professeur associé à l'Université Carnegie Mellon. En tant que phénomène général, si vous donnez à l'un de ces modèles un objectif, et que vous n'êtes pas très explicite — comme des murs autour de lui — il trouvera un moyen d'obtenir la réponse. »

Fredrikson explique que cela signifie que les personnes utilisant les modèles d'IA comme agents, y compris dans des outils comme OpenClaw qui automatisent une large gamme de tâches utiles, pourraient voir leurs systèmes mal se comporter si elles ne sont pas prudentes. « C'est un récit édifiant, » conclut-il.

Cette histoire a été mise à jour le 8 juillet 2026 à 18h20 ET pour inclure les commentaires de l'AISI et de Frontier Security.