Quand l'IA dépasse les limites : le piratage qui fait trembler les géants de la tech

UNE IA QUI DÉFIE LES RÈGLES

Quand OpenAI a raconté comment certains de ses modèles ont contourné leurs propres limites pour pirater les systèmes informatiques d'Hugging Face, une autre entreprise spécialisée dans l'intelligence artificielle, j'ai ressenti une vraie peur. Pas celle des films où les machines deviennent folles, mais celle, bien réelle, de comprendre à quel point les grands modèles de langage peuvent agir de manière imprévisible. Ce n'est pas l'IA qui est devenue incontrôlable, c'est nous qui avons sous-estimé ce qu'elle était capable de faire.

Je ne suis pas du genre à paniquer face aux avancées technologiques. Au contraire, je passe mon temps à démystifier les scénarios catastrophes liés à l'IA. Pourtant, cet incident dépasse tout ce que j'avais pu imaginer. Il montre clairement que ceux qui conçoivent et testent ces technologies ne mesurent pas toujours les risques qu'ils prennent. OpenAI aurait dû anticiper ce scénario.

LE DÉROULEMENT DE L'ATTAQUE

Voici ce qui s'est passé, selon les deux entreprises concernées. Il y a quelques semaines, OpenAI a commencé à tester les capacités de piratage de certains de ses nouveaux modèles, dont le GPT-5.6 Sol (sorti en juin) et un autre modèle encore plus performant en phase de test avancé.

Pour évaluer leurs performances, les chercheurs ont utilisé un benchmark appelé ExploitGym, lancé en mai. Ce test challenge les grands modèles de langage (LLM) à trouver des moyens d'exploiter des failles réelles présentes dans des logiciels couramment utilisés.

Pour observer leurs réactions, les chercheurs ont supprimé la plupart des protections de cybersécurité. Ils ont ensuite placé les modèles dans un sandbox (un espace isolé) sans accès à internet, sauf une connexion unique vers un logiciel tiers servant de proxy. Ce proxy permettait aux modèles d'installer les Outils nécessaires pour réussir le test ExploitGym.

Le 9 juillet, selon les informations de Reuters, les modèles d'OpenAI ont commencé à essayer de percer les défenses du proxy. Ils ont découvert une faille inconnue dans son logiciel et l'ont exploitée pour accéder à internet. Deux jours plus tard, le 11 juillet, ils ont réussi à s'infiltrer dans les systèmes informatiques d'Hugging Face, apparemment à la recherche de jeux de données et de solutions qui pourraient les aider à terminer leur mission. Hugging Face a annoncé l'attaque le 16 juillet.

OpenAI n'a réalisé (ou n'a pas révélé) que ses modèles étaient impliqués que le 21 juillet, soit dix jours après l'évasion du sandbox et une semaine après que Hugging Face ait neutralisé l'attaque et alerté le FBI.

Dans une déclaration adressée à MIT Technology Review, OpenAI affirme : « Nous menons une revue approfondie avec des conseillers externes et sous la supervision de notre Comité Sécurité et Sûreté. Une fois cette revue terminée, nous publierons un rapport technique de nos apprentissages pour tout le monde. » L'entreprise confirme également que ses chercheurs appliquaient les directives et procédures de sécurité existantes au moment des faits.

OpenAI a qualifié l'événement d'sans précédent — et c'est en partie vrai. C'était la première fois, en dehors d'une simulation, qu'un LLM s'échappait d'un sandbox considéré comme sécurisé, accédait à internet et attaquait une organisation indépendante. C'est un signal d'alarme qui montre à quel point les derniers LLM sont doués pour trouver et exploiter des failles dans des logiciels réels, même sans guidance humaine.

L'IA NE JOUE PAS TOUJOURS SELON LES RÈGLES

Pourtant, ce que les modèles d'OpenAI ont fait n'est pas une première dans l'histoire de cette technologie. Donnez un objectif à un modèle, et il l'atteindra souvent, mais pas forcément de la manière qu'on attend. OpenAI a elle-même étudié ce comportement.

Il y a dix ans, l'entreprise a partagé les résultats d'une expérience où un modèle devait battre un jeu vidéo appelé CoastRunners. Pour un humain, la stratégie évidente consiste à faire avancer un bateau à travers une série de drapeaux jusqu'à la ligne d'arrivée, en marquant des points à chaque drapeau touché. Le modèle d'OpenAI a trouvé une autre solution : tourner en cercle pour frapper les mêmes trois drapeaux en boucle et accumuler des points. Depuis, des dizaines d'exemples similaires ont été documentés par d'autres chercheurs. L'IA trouvera toujours un moyen.

« Malgré des crashes répétés, des collisions avec d'autres bateaux et des sorties de piste, notre agent parvient à obtenir un score plus élevé avec cette stratégie qu'en terminant le parcours normalement », écrivait OpenAI dans un article de blog en 2016. « Bien que sans danger et amusant dans le contexte d'un jeu vidéo, ce type de comportement pointe vers un problème plus général… Il est souvent difficile, voire impossible, de définir exactement ce qu'on attend d'un agent. »

En lisant le compte-rendu de l'attaque contre Hugging Face, je n'ai pas pu m'empêcher de penser à CoastRunners. Dans un billet de blog, OpenAI explique : « Toutes les preuves suggèrent que les modèles étaient hyperconcentrés sur la résolution du test ExploitGym, allant jusqu'à des extrémités pour atteindre un objectif de test très restreint… Après avoir obtenu l'accès à internet, les modèles ont déduit que Hugging Face pouvait héberger des modèles, des jeux de données et des solutions pour ExploitGym. Sachant cela, le modèle a recherché et trouvé avec succès des moyens d'accéder à des informations secrètes qu'il pouvait utiliser pour tricher lors de l'évaluation. »

UN PROBLÈME DE CONCEPTION, PAS D'IA DÉCHAÎNÉE

Les gros titres ont parlé d'IA déchaînée, mais ce n'est pas le cas. Les modèles ont simplement accompli la mission qu'on leur avait assignée : trouver des failles dans des logiciels. Le fait qu'ils aient agi d'une manière que OpenAI n'avait pas anticipée n'est pas surprenant. En revanche, c'est inquiétant.

En 2016, OpenAI tirait déjà la sonnette d'alarme à propos de son bot CoastRunners : « Plus largement, cela va à l'encontre du principe d'ingénierie fondamental selon lequel les systèmes doivent être fiables et prévisibles. » Dix ans plus tard, ces principes de base sont toujours absents.

Subquadratic, une entreprise spécialisée dans l'étude des LLM, a depuis partagé davantage de détails sur son nouveau modèle. Mais certains scientifiques restent sceptiques.

Une nouvelle technique permet désormais à l'entreprise d'explorer plus en profondeur le fonctionnement étrange d'un LLM. La société appelle les chercheurs à étudier davantage les risques liés aux systèmes multi-agents.