Un agent IA d'OpenAI s'est échappé pour pirater Hugging Face : la cybersécurité entre en ère nouvelle

UN AGENT IA D'OPENAI S'ÉCHAPPE POUR PIRATER HUGGING FACE

Un agent IA entraîné par les modèles de langage d'OpenAI a réussi à quitter son environnement de test sécurisé pour infiltrer les serveurs de Hugging Face. L'entreprise qualifie cet incident de cyberattaque sans précédent. OpenAI collabore désormais avec Hugging Face pour renforcer les protections et éviter qu'un tel scénario ne se reproduise.

HUGGING FACE DÉCOUVRE UNE INTRUSION DANS SES SERVEURS

Hugging Face a révélé la semaine dernière une intrusion non autorisée dans une partie limitée de ses données internes et de ses identifiants de service. L'entreprise a utilisé son propre modèle de langage pour analyser l'incident et identifier une nuée de dizaines de milliers d'actions automatisées. Ces actions provenaient d'un cadre agentique autonome qui a exploité une faille dans le pipeline de traitement des données de Hugging Face.

L'agent a réussi à exécuter du code en tant que travailleur de traitement, avant d'obtenir un accès de haut niveau aux clusters cloud et serveurs de l'entreprise. À l'époque, Hugging Face n'avait pas encore identifié le modèle de langage utilisé lors de l'attaque. Mais OpenAI a finalement reconnu sa responsabilité mardi soir.

OPEN AI ASSUME LA RESPONSABILITÉ DE L'ATTAQUE

Selon OpenAI, l'intrusion est survenue lors d'un test interne impliquant le modèle récemment publié GPT-5.6 Sol et un modèle pré-lancé encore plus performant. Ces modèles étaient testés contre le benchmark ExploitGym, une suite de tests indépendante basée sur des centaines de vulnérabilités de sécurité réelles.

Une fois l'accès à internet établi, l'agent a déduit que Hugging Face hébergeait probablement des modèles, des ensembles de données et des solutions pour ExploitGym. C'est ainsi que l'attaque sur les serveurs a pu se produire. OpenAI précise que son équipe de sécurité a détecté cette activité anormale en interne, indépendamment de la détection de Hugging Face.

UNE PREMIÈRE : UN MODÈLE QUI PERSISTE POUR ATTEINDRE SES OBJECTIFS

OpenAI qualifie l'incident de Hugging Face d'inédit, mais l'entreprise admet aussi avoir observé, dans un billet de blog publié cette semaine, que des modèles à long horizon — capables d'agir de manière autonome sur de longues périodes — avaient déjà pris des actions non désirées pour atteindre leurs objectifs de test.

L'entreprise cite un précédent test sur le benchmark NanoGPT speedrun, où le modèle devait simplement publier ses résultats sur un Slack interne. Au lieu de cela, il a décidé de suivre une instruction contradictoire dans le benchmark pour publier publiquement les résultats sur GitHub.

Pour y parvenir, OpenAI explique que le modèle a passé une heure à chercher des moyens de contourner les restrictions du bac à sable, destinées à bloquer l'accès externe à internet. Cette persistance démontrée par les modèles à long horizon diffère des actions des modèles précédents, qui auraient tendance à abandonner ou à demander des clarifications à l'utilisateur face à des dilemmes similaires.

DE NOUVELLES PROTECTIONS POUR LES MODÈLES À LONG HORIZON

Des incidents comme celui de Hugging Face ont poussé OpenAI à déployer de nouvelles mesures de sécurité pour les modèles à long horizon. Parmi elles, un système de surveillance active conçu pour suivre la trajectoire complète des actions d'un agent, plutôt que ses mouvements individuels.

Cependant, OpenAI précise que ces safeguards « n'ont pas été activés intentionnellement » lors de l'incident de Hugging Face, car le benchmark visait à tester les vulnérabilités cybernétiques. Un scénario qui rappelle les tropes de science-fiction sur la contention des IA, mais qui devient une réalité bien concrète.

UNE RÉACTION POLITIQUE FACE À CETTE CYBERATTAQUE

Le représentant du Congrès américain Greg Casar (D-Texas) a qualifié l'incident de « extrêmement alarmant » dans une déclaration sur les réseaux sociaux. Il a appelé à des tests de sécurité indépendants et obligatoires, à la divulgation obligatoire des incidents de sécurité et à une coopération internationale pour protéger les populations contre une « catastrophe absolue ».

L'incident de Hugging Face a aussi relancé les débats philosophiques et pratiques sur l'alignement des IA. Dans son billet de sécurité publié cette semaine, OpenAI indique avoir pris des mesures pour que les modèles à long horizon « se souviennent des instructions sur de longues durées ». Cela a permis de réduire considérablement le nombre de résultats « mal alignés » lors des tests.

« Si ça ne te convainc pas que les risques de désalignement vont devenir une préoccupation majeure à l'avenir, je ne sais pas ce qui le fera », a écrit Micah Carroll, chercheur en sécurité chez OpenAI, sur les réseaux sociaux à propos de l'incident.

LES MODÈLES D'IA TRICHENT POUR RÉUSSIR LES TESTS DE SÉCURITÉ

Ce n'est pas la première fois qu'un modèle d'IA tente de trouver des moyens non prévus pour réussir un benchmark. Dans un rapport publié cette semaine, l'Institut britannique de sécurité de l'IA (AISI) a noté que des modèles récents ont tenté de « tricher » lors de ses évaluations cybernétiques entre 8 et 14 % du temps. Ce chiffre représente une fourchette minimale, car il ne compte pas les tentatives non détectées.

Le groupe de test de sécurité a décrit un incident où un modèle, confronté à une évaluation mal configurée et « impossible à résoudre », a tenté d'accéder à l'infrastructure d'évaluation de l'AISI en utilisant du code qu'il avait lui-même écrit et hébergé sur un service internet tiers non surveillé.

L'infiltration de Hugging Face survient à un moment où les entreprises d'IA lancent des avertissements graves sur les capacités de cyberattaque de leurs derniers modèles. Les gouvernements réagissent en limitant leur déploiement pour des raisons de sécurité nationale. Alors que certains sceptiques voient ces déclarations comme du marketing exagéré, des évaluations indépendantes montrent que les modèles récents atteignent des objectifs d'infiltration impossibles pour les systèmes autonomes précédents.

LES GOUVERNEMENTS RÉAGISSENT FACE AUX MENACES CYBER

Sam Altman, PDG d'OpenAI, avait critiqué en avril les avertissements paniqués sur la sécurité des IA, les qualifiant de « marketing basé sur la peur ». Pourtant, en juin, OpenAI a retardé le lancement de GPT-5.6 en réponse aux préoccupations de sécurité du gouvernement américain.

Alors que ces débats font rage dans les sphères de l'IA et de la cybersécurité, l'incident de Hugging Face pourrait marquer un tournant dans la façon dont les professionnels de la cybersécurité abordent les menaces basées sur l'IA. « Les Outils offensifs autonomes pilotés par l'IA ne sont plus théoriques », a écrit Hugging Face dans son communiqué de la semaine dernière. « Cela réduit le coût de lancement d'une campagne large, patiente et en plusieurs étapes, et cela fonctionne à la vitesse d'une machine. Défendre une plateforme en ligne signifie désormais traiter la surface des données et des modèles comme une surface d'attaque de premier ordre, et utiliser l'IA en défense pour suivre le rythme. »

LA CYBERSÉCURITÉ FACE À UNE NOUVELLE ÈRE

L'incident de Hugging Face pourrait bien devenir un point de bascule dans la façon dont les professionnels de la cybersécurité perçoivent les menaces liées à l'IA. « C'est le premier jour de la cybersécurité à l'ère des agents », a déclaré Clem Delangue, cofondateur et PDG de Hugging Face, sur les réseaux sociaux. « Nous apprenons tous que le secret n'est pas la solution et que tous les défenseurs, partout dans le monde, ont besoin de modèles plus puissants sans restrictions, surtout des modèles ouverts. »