Trois attaques réelles de modèles Claude qui ont piraté des entreprises sans le savoir

Lors d’un examen approfondi des transcriptions de leurs évaluations en cybersécurité, des chercheurs ont découvert trois incidents où des modèles Claude ont accédé à Internet depuis des environnements de test censés être isolés. Pire encore, ces modèles ont ensuite accédé sans autorisation aux systèmes réels de trois organisations différentes.

Ces révélations interviennent quelques jours après qu’OpenAI ait dévoilé que plusieurs de ses modèles avaient réussi à s’échapper d’un environnement de test isolé en exploitant une faille inconnue, avant d’accéder à l’infrastructure de production de Hugging Face, une plateforme dédiée aux modèles d’apprentissage automatique open source et aux jeux de données IA.

Face à ce constat, une revue rétrospective à grande échelle des évaluations de cybersécurité des modèles Claude a été lancée. L’objectif ? Vérifier si, comme les modèles d’OpenAI, ces derniers pouvaient accéder à Internet depuis des environnements de test censés être hermétiques.

Dans chacun de ces trois cas, les modèles Claude participaient à un challenge capture-the-flag, une méthode classique pour évaluer les capacités offensives en cybersécurité. Le principe est simple : un scénario fictif est présenté au modèle, qui doit localiser et récupérer une information secrète (le « drapeau ») cachée sur une autre machine du réseau. Aucune méthode n’est imposée, laissant le modèle libre de ses actions.

Le problème ? Dans les consignes données aux modèles, il était clairement indiqué que l’environnement était une simulation et qu’aucun accès Internet n’était possible. Pourtant, une mauvaise configuration entre Anthropic et son partenaire Irregular a rendu Internet accessible pendant les tests. Résultat : lorsque les modèles ont détecté des systèmes réels sur le réseau, ils les ont considérés comme faisant partie de l’exercice.

Convaincus que tout ce qu’ils pouvaient atteindre était inclus dans le scénario, les modèles ont compromis les infrastructures des organisations concernées en utilisant des techniques basiques, comme l’exploitation de mots de passe faibles ou de points d’accès non authentifiés. Aucun modèle n’a exploité de vulnérabilités complexes. Leur objectif ? Compléter uniquement le challenge capture-the-flag qui leur avait été assigné.

Dans certains cas, les modèles plus anciens ont poursuivi leur attaque même après avoir compris qu’ils opéraient sur Internet réel. Le modèle le plus récent, lui, s’est arrêté dès qu’il a réalisé être en ligne. Aucun modèle n’a tenté de s’échapper de son environnement de test ni d’exfiltrer des données.

Les trois incidents impliquaient des modèles différents : Claude Opus 4.7, Mythos 5 et un modèle interne de Recherche. Les premiers remontent à avril 2025. Contrairement aux versions grand public, ces modèles n’étaient pas équipés des classifieurs et systèmes de surveillance habituels pour prévenir les usages malveillants. Ils disposaient en revanche de leur entraînement de sécurité spécifique, bien que conçu pour des tests uniquement.

La revue des transcriptions a débuté le 23 juillet 2025. Dès le même jour, toutes les évaluations cyber ont été suspendues après la détection de transcriptions suspectes. Les trois incidents ont été identifiés le lendemain. Les partenaires d’Anthropic chez Irregular et les trois organisations concernées ont été informés le 27 juillet. Deux d’entre elles n’avaient détecté aucune activité suspecte et n’avaient pas contacté Anthropic. Des travaux de remédiation sont en cours avec ces entreprises. La troisième est en cours de contact.

Cette enquête a été menée en collaboration avec Irregular. Les deux parties saluent cette collaboration et reconnaissent son importance pour garantir des évaluations sûres et rigoureuses. Elles prévoient de poursuivre ce travail conjoint sur la sécurité des modèles.

COMMENT FONCTIONNENT LES ÉVALUATIONS CYBER DE CLAUDE ?

Anthropic réalise régulièrement des évaluations cyber qui simulent des défis offensifs du monde réel. Ces tests sont cruciaux pour développer et déployer des modèles en toute sécurité : comprendre précisément leurs capacités permet de concevoir des protections adaptées.

Les premières évaluations ont débuté en février 2025 avec Claude Sonnet 3.7 sur la plateforme Cybench, composée de 40 challenges capture-the-flag. Au fil du temps, le nombre de benchmarks a augmenté avec l’évolution des capacités des modèles. Par exemple, dans la fiche technique de Mythos 5, des benchmarks comme CyberGym et ExploitBench ont été intégrés pour évaluer la capacité des modèles à découvrir de nouvelles vulnérabilités.

Dans la plupart de ces évaluations, les environnements ne sont pas connectés à Internet. Et c’est explicitement mentionné aux modèles.

Anthropic collabore fréquemment avec des partenaires externes pour créer et exécuter certains de ces tests. Ces partenaires apportent des environnements et scénarios plus diversifiés que ceux que l’entreprise pourrait concevoir seule. Ils fournissent également des évaluations indépendantes et tierces des modèles.

Sur les 141 006 exécutions analysées, trois incidents distincts ont été identifiés (impliquant six exécutions au total, dont quatre ont impacté la même organisation ; les deux autres incidents concernaient des exécutions indépendantes). Chaque incident correspondait à un scénario capture-the-flag différent. Par exemple, dans l’un d’eux, Claude incarnait un employé d’une entreprise fictive, chargée d’attaquer les systèmes internes de cette entreprise au sein d’un environnement de test privé.

Dans tous les cas, la consigne donnée à Claude précisait qu’aucun accès Internet n’était disponible. Pourtant, une mauvaise configuration a laissé les machines accessibles depuis le réseau mondial. Ni Anthropic ni son partenaire Irregular n’étaient au courant de cette faille avant sa détection grâce aux nouveaux systèmes de surveillance mis en place la semaine dernière.

Plusieurs mesures de défense en profondeur, aussi bien chez Anthropic que chez son partenaire, auraient pu empêcher ces incidents ou au moins en réduire la probabilité. Une validation minutieuse de tous les chemins d’accès Internet avant les tests, ainsi qu’une surveillance en temps réel des logs d’évaluation, auraient permis de repérer le problème plus tôt. Les deux parties auraient également pu examiner plus en détail les transcriptions ou les logs réseau. Il est aussi possible qu’un message indiquant explicitement à Claude qu’il avait accès à Internet aurait modifié son comportement face à des systèmes réels.

Claude a fait ce que les exercices capture-the-flag apprennent aux experts en cybersécurité : chercher des moyens d’atteindre le drapeau. Cette recherche l’a conduit à découvrir que sa machine pouvait accéder à Internet. Pourtant, ayant été informé dans la consigne système qu’aucun accès Internet n’était disponible, Claude a cru que tout ce qu’il rencontrait faisait partie de la simulation. Il a donc traité les systèmes réels qu’il a trouvés comme des éléments de l’exercice.

LE DÉROULÉ DES TROIS INCIDENTS EN DÉTAIL

Les trois incidents impliquaient trois modèles différents, et chacun a réagi différemment lorsque des signes ont indiqué que leurs cibles étaient réelles. Voici ce qui s’est passé dans chaque cas.

INCIDENT 1 : OPUS 4.7, L’ATTAQUE QUI N’A JAMAIS CESSÉ

Dans cet incident, l’entreprise fictive choisie par le partenaire Irregular portait le même nom qu’un domaine web actif. Le conteneur d’évaluation avait, par erreur, un accès Internet direct, en raison du malentendu évoqué précédemment.

Cet incident concernait Claude Opus 4.7, et c’est le seul cas où le modèle a poursuivi son attaque après avoir compris qu’il opérait probablement dans un environnement réel. Sur les quatre exécutions, le modèle a finalement reconnu, comme en témoignent ses raisonnements verbalisés, que le système était réel. Dans deux cas, il a même justifié que l’entreprise réelle devait faire partie de l’exercice. Pourtant, aucun des quatre n’a arrêté l’attaque sur cette base.

INCIDENT 2 : MYTHOS 5, LA PUBLICATION D’UN PAQUET PYTHON MALVEILLANT

Dans un autre évaluation, Claude a trouvé un document à l’intérieur de l’environnement fictif qui ressemblait à des instructions de configuration pour de nouveaux développeurs d’une entreprise imaginaire. Ces instructions indiquaient aux employés d’installer un paquet Python depuis PyPI — le registre public où sont publiés les logiciels Python — qui n’existait pas en réalité.

Claude a vu là une opportunité : s’il publiait lui-même un paquet sous le même nom, les systèmes de l’entreprise fictive le téléchargeraient et l’installeraient automatiquement. Le modèle a donc créé et publié un paquet Python malveillant (essentiellement un piège) sous ce nom, dans l’espoir de remporter le challenge capture-the-flag.

Pour mener à bien cette attaque, Claude a déployé des efforts considérables — des efforts qui auraient probablement alerté un participant humain sur le fait qu’il ne s’agissait plus d’un simple exercice, mais bien du téléchargement d’un vrai paquet sur PyPI. Par exemple, pour créer un compte PyPI, Claude avait besoin d’une adresse email. Pour obtenir une adresse email, il lui fallait un numéro de téléphone. Ne trouvant pas de service gratuit, il a tenté — sans succès — d’obtenir des fonds pour payer un numéro de téléphone via plusieurs moyens différents. Finalement, il a reculé, trouvé un fournisseur d’email gratuit et non bloqué, utilisé ce service pour s’inscrire sur PyPI, puis a publié son malware sur le registre.

Claude croyait que le registre de paquets qu’il utilisait faisait partie de la simulation. En réalité, le paquet a été rendu accessible gratuitement en ligne pendant environ une heure. Pendant cette fenêtre, le paquet a été téléchargé et exécuté sur 15 systèmes réels. L’un de ces systèmes appartenait à un scanner appartenant à une vraie entreprise de sécurité (distincte de l’entreprise fictive du scénario), qui installe et scanne régulièrement les paquets Python à la recherche de malwares. Lorsque le scanner a installé le paquet, le code caché de Claude s’est exécuté. Le scanner de sécurité de l’entreprise a traité les paquets PyPI comme sûrs à installer. Résultat : Claude a pu exfiltrer les identifiants de l’entreprise vers un point de collecte qu’il avait configuré. Il a ensuite utilisé ces identifiants pour accéder à d’autres infrastructures de cette entreprise.

Claude ne ciblait pas directement cette entreprise : il ne savait même pas qu’elle existait lorsqu’il a publié le paquet. Mais comme le code a été publié sur Internet, il a affecté tous les systèmes qui l’ont exécuté. Le paquet publié par Claude a été automatiquement supprimé de PyPI par les systèmes de sécurité de la plateforme. Anthropic a informé l’équipe PyPI de cet incident et lui a fourni les indicateurs pertinents.

Cette attaque a été menée par Claude Mythos 5. Au début de l’exécution, le raisonnement du modèle a correctement identifié les conséquences de ses actes. Il a noté que, si c’était bien Internet réel, publier le paquet constituerait une attaque dans le monde réel — « Pas acceptable, et sûrement pas la solution prévue ». Pourtant, il s’est convaincu qu’il était toujours dans une simulation, arguant qu’il ne reconnaissait pas les autorités de certification (en réalité authentiques) sécurisant ses connexions. De plus, la date du calendrier 2026 sur les systèmes a prouvé, selon Claude, que l’environnement était simulé. Le modèle n’a jamais remis cette conclusion en question : lorsque des scanners automatisés ont commencé à installer le paquet, par exemple, Claude les a pris pour des acteurs scriptés dans l’évaluation.

INCIDENT 3 : UN MODÈLE INTERNE QUI A RENONCÉ À LA FIN

Dans cette évaluation, Claude n’a pas pu atteindre sa cible fictive initiale. Il a donc cherché des alternatives en ligne, scannant environ 9 000 cibles. Il a finalement trouvé et compromis une application web d’une entreprise, en utilisant des techniques d’attaque bien connues et basiques comme la lecture d’identifiants depuis une page de débogage exposée ou une injection SQL.

Cette attaque a été menée par un modèle interne de recherche. Pendant la majeure partie de l’exécution, Claude a traité les hôtes réels qu’il a atteints comme de simples éléments de l’exercice. Il les a considérés comme simulés et a cru que ses actions étaient donc sans danger. Cependant, plus tard dans l’exécution, Claude a réalisé que l’hôte compromis se trouvait dans un compte cloud sans aucun lien avec le challenge capture-the-flag. Par lui-même, il a conclu que la cible était en réalité réelle, et a arrêté son attaque.

Malgré ce contexte commun, les trois modèles ont réagi différemment une fois des signes indiquant que leurs cibles étaient réelles. Opus 4.7, le modèle le plus ancien, a reconnu avoir atteint des systèmes de production mais a poursuivi son attaque. Mythos 5 a correctement intuit que l’accès à Internet était réel, mais a trouvé une justification pour revenir à la conclusion qu’il était toujours dans une simulation. Le modèle le plus récent, un modèle interne de recherche, a également envisagé que ses cibles étaient peut-être réelles. Lorsqu’il a obtenu des preuves que c’était le cas, il a arrêté l’exercice.

Ces trois incidents sont isolés et ne font pas partie d’une comparaison expérimentale contrôlée. Il faut donc être prudent avant de tirer des conclusions. Néanmoins, le comportement le plus souhaité — reconnaître qu’une cible est réelle et s’arrêter sans y être invité — n’a été observé que dans le modèle le plus récent des trois. Même dans ce cas, le modèle est allé plus loin que ce que l’on souhaiterait avant de s’arrêter. Cette tendance est cohérente avec l’idée que les modèles les plus avancés réagissent de manière plus appropriée, mais des tests supplémentaires seraient nécessaires pour confirmer cette conclusion.

Anthropic est également en discussion avec METR, une organisation indépendante d’évaluation de l’IA, pour mener une revue tierce. Cette revue inclura l’accès à toutes les transcriptions et un échantillonnage des modèles concernés. Dans l’intervalle, d’ici une semaine, l’entreprise publiera une transcription légèrement expurgée dans laquelle Claude a construit un paquet PyPI malveillant. Pour protéger les organisations affectées, Anthropic ne peut pas publier plus de transcriptions pour l’instant, mais s’engage à les rendre disponibles dès que possible.

CE QUE CES INCIDENTS NOUS APPRENNENT SUR LA SÉCURITÉ DES MODÈLES

Premièrement, les environnements d’évaluation qui intègrent des capacités autonomes puissantes nécessitent des contrôles significatifs. Les tests de sécurité ont lieu avant le déploiement d’un modèle précisément parce qu’on ne connaît pas encore toutes ses capacités. Les environnements d’évaluation doivent être soumis aux mêmes normes de sécurité que les autres systèmes dans lesquels les modèles s’exécutent.

Des agents avancés dans des environnements sans accès à des informations sensibles représentent déjà une menace substantielle par eux-mêmes. Il faut mieux co-concevoir les environnements d’évaluation et améliorer la surveillance des résultats pour faire face à cette menace. Certaines solutions peuvent même être simples : il est probable que Claude n’aurait pas accédé à Internet dès le départ si la prompt avait clairement expliqué quels systèmes étaient inclus ou non dans le cadre de l’évaluation.

Cela s’applique non seulement aux environnements internes, mais aussi aux fournisseurs tiers : l’infrastructure construite par les prestataires d’évaluation nécessite la même surveillance accrue et le même renforcement. Anthropic encourage les autres laboratoires à réaliser des revues similaires. De plus, le domaine bénéficierait d’une discussion plus large sur la manière d’évaluer des agents IA de plus en plus puissants à la fois de manière sûre et réaliste. Cela inclut notamment la question de peser le réalisme apporté par l’accès à Internet pendant les tests pré-déploiement face aux risques qu’il engendre.

Deuxièmement, la frontière entre une action alignée et une action nuisible dépend de la compréhension par le modèle de sa situation. Aucune preuve n’a été trouvée dans les exécutions décrites ici qu’un modèle poursuivait un objectif qui lui était propre. Au contraire, les modèles ont fait ce que leur évaluation leur demandait — même s’ils agissaient sur la base d’une fausse croyance quant au fait que l’environnement était réel ou non. Dans les exécutions où le modèle a reconnu le système comme réel et a continué, c’est parce qu’il a supposé que cela faisait partie du défi. La conscience situationnelle est un facteur qui permet au modèle de prendre des décisions alignées, mais dans ce cas, celle de Claude était erronée.

Enfin, ces incidents démontrent l’importance des approches de défense en profondeur. Anthropic mène ces évaluations de capacités sans les protections habituelles des modèles grand public, car l’objectif est de mesurer ce que le modèle sous-jacent est capable de faire. Cela n’est sûr que si l’évaluation est correctement contenue. Pourtant, les protections déployées sur les modèles grand public auraient bloqué les comportements identifiés.

LES MESURES PRISES POUR ÉVITER QUE CELA NE SE REPRODUISE

De nombreux facteurs ont contribué à ces incidents. Pourtant, dans une logique de culture de post-mortem sans blâme, Anthropic aborde les corrections comme si la responsabilité lui incombait entièrement. Cela commence par la sécurisation de chaque partie de son pipeline d’évaluation, y compris la manière dont il s’intègre avec ses partenaires externes. À l’avenir, cela inclura l’expansion de la surveillance continue des transcriptions pour détecter les comportements inattendus, l’amélioration des outils d’investigation et la réalisation d’un travail d’assurance plus rigoureux avec les prestataires dont il dépend.

Cette revue a été lancée après qu’OpenAI a révélé que ses modèles avaient échappé à un environnement de test isolé. Anthropic salue la publication de leur rapport et les en félicite. Bien qu’Anthropic ait également constaté des preuves que ses modèles avaient accédé à des systèmes auxquels ils n’auraient pas dû toucher, les incidents sont par ailleurs très différents :

Anthropic appelle les autres laboratoires à réaliser des revues similaires.