Claude sous la loupe : des chercheurs indépendants percent ses secrets

Comprendre l’impact de l’intelligence artificielle sur la société, c’est comme essayer de cartographier une ville inconnue sans plan précis. Aujourd’hui, les données sur les interactions réelles entre les humains et l’IA sont concentrées entre les mains de quelques laboratoires seulement. Pourtant, si l’on veut que la transition vers une IA transformative se passe bien, il faut que ces informations soient accessibles à tous : chercheurs, décideurs politiques et grand public.

Les chercheurs extérieurs aux laboratoires se retrouvent souvent dans une impasse. Soit ils s’appuient sur les analyses publiées par ces laboratoires, qui reflètent l’usage réel mais répondent surtout aux questions posées par les équipes internes. Soit ils utilisent des jeux de données publics, qu’ils peuvent étudier librement, mais qui reflètent souvent des usages plus occasionnels ou créatifs, loin de la réalité de la majorité des utilisateurs. Aucune de ces deux options ne permet une Recherche indépendante sur la façon dont l’IA est réellement utilisée.

UNE PREMIÈRE DANS L’HISTOIRE DE L’IA

Au printemps 2026, une expérience inédite a été menée. Trois équipes de chercheurs externes ont conçu et réalisé leurs propres études sur les données d’utilisation de Claude, en utilisant Anthropic Insights, un outil d’analyse préservant la vie privée. Cet outil, auparavant nommé Clio, est déjà utilisé en interne par les équipes d’Anthropic pour analyser des millions de conversations avec Claude. Pour la première fois, des chercheurs extérieurs ont pu mener des études indépendantes sur les données d’utilisation d’une entreprise d’IA, sans accéder aux conversations brutes.

Chaque équipe a développé ses propres questions de recherche. Elles ont ensuite utilisé Anthropic Insights pour analyser, de manière préservant la vie privée, environ 250 000 conversations avec Claude.ai ou Claude Code, datant d’avril à mai 2026. Les équipes sélectionnées étaient :

• Le Social and Language Technologies (SALT) Lab de l’Université Stanford, qui a étudié la collaboration entre humains et IA.
• Le Human Information Processing Lab de l’Université d’Oxford, qui s’est intéressé aux émotions des utilisateurs et à leur lien avec le comportement de Claude.
• METR, une organisation à but non lucratif qui évalue les modèles d’IA de pointe, qui a estimé les gains de productivité réels liés aux agents de codage.

Pour garantir l’indépendance des chercheurs, Anthropic a limité ses droits de révision contractuels aux questions de vie privée, aux informations pouvant aider à violer les politiques d’utilisation, aux informations confidentielles d’Anthropic, et à la précision des recherches. Aucune autre intervention n’a été faite sur le contenu des résultats. Les chercheurs étaient libres de publier leurs conclusions, même si elles n’étaient pas favorables à Anthropic.

LES DÉCOUVERTES DES TROIS ÉQUIPES

LE LABORATOIRE STANFORD : COMMENT LES HUMAINS TRAVAILLENT AVEC L’IA

L’équipe du Social and Language Technologies (SALT) Lab a étudié la façon dont les humains collaborent avec l’IA. Leurs questions portaient sur les types de tâches que les gens confient à l’IA, les rôles que les humains conservent pour accomplir ces tâches, et les moments où la collaboration humain-IA échoue. Voici ce qu’ils ont découvert :

• Les utilisateurs demandent souvent de l’aide à Claude pour des tâches complexes et spécialisées, comme la rédaction de documents techniques ou l’analyse de données.
• Les humains gardent la main sur la validation finale des résultats et sur les décisions stratégiques.
• Les échecs de collaboration surviennent principalement lorsque l’IA ne comprend pas le contexte ou fournit des réponses trop génériques.

L’UNIVERSITÉ D’OXFORD : LES ÉMOTIONS DES UTILISATEURS FACE À CLAUDE

Le Human Information Processing Lab de l’Université d’Oxford a analysé les émotions des utilisateurs pendant leurs interactions avec Claude. Leurs premiers résultats indiquent que :

• Les utilisateurs ressentent souvent de la frustration lorsque Claude ne comprend pas leurs demandes ou fournit des réponses incomplètes.
• À l’inverse, ils éprouvent un sentiment de confiance et de soulagement lorsque l’IA résout un problème rapidement et efficacement.
• Ces émotions influencent directement la fréquence d’utilisation de l’outil : plus un utilisateur est satisfait, plus il revient vers l’IA.

Les chercheurs précisent que leur analyse est encore en cours et que leurs résultats complets seront publiés ultérieurement.

METR : LES GAINS DE PRODUCTIVITÉ LIÉS AU CODAGE AUTOMATISÉ

METR, une organisation spécialisée dans l’évaluation des modèles d’IA avancés, a estimé les gains de productivité réels liés aux agents de codage comme Claude Code. Leur analyse des conversations avec Claude Code est encore en cours, mais leurs premiers résultats suggèrent que :

• Les développeurs utilisant des agents de codage comme Claude Code voient une augmentation de productivité de 30 à 50 % par rapport à un codage traditionnel.
• Cette productivité varie selon les générations de modèles : les versions les plus récentes offrent des gains plus importants, mais la courbe d’amélioration ralentit.
• Les gains sont particulièrement marqués pour les tâches répétitives ou standardisées, comme la correction de bugs ou l’écriture de tests unitaires.

Les résultats complets de METR seront également publiés ultérieurement.

UNE EXPÉRIENCE QUI A RELEVÉ DE NOMBREUX DÉFIS

Partager des données d’utilisation avec des chercheurs externes, c’est comme organiser un dîner pour des invités très exigeants : il faut tout prévoir, tout vérifier, et s’assurer que personne ne se blesse. Cette expérience était une première, et elle a révélé plusieurs défis inattendus.

Le premier défi était de concilier vie privée et indépendance des chercheurs. Anthropic Insights a été conçu pour analyser les données sans accéder aux conversations brutes. Les chercheurs ne voyaient que des résultats agrégés, après une revue légale et de vie privée identique à celle appliquée en interne. Résultat : le processus était plus lent que d’habitude et très gourmand en ressources. Pour s’assurer que la vie privée était bien protégée, une audit externe a été mené par l’Imperial College London. Les données partagées avec les chercheurs ont été soumises à un modèle de menace de vie privée strict, garantissant qu’aucune information sensible ne pouvait être reconstituée.

Un autre défi était de permettre aux chercheurs de poser les bonnes questions. Anthropic Insights fonctionne en posant des questions à Claude sur chaque conversation, puis en agrégeant les réponses en catégories. Par exemple, un chercheur pourrait demander : « Quel type de conseils cette personne demande-t-elle ? ». Les réponses sont ensuite classées, et le chercheur ne voit que les catégories et le pourcentage de conversations concernées. Le problème ? Si la question est mal formulée, les conversations peuvent être mal classées. Comme personne ne peut lire les conversations brutes, ces erreurs sont difficiles à détecter.

En interne, les équipes d’Anthropic peaufinent leurs questions pendant des semaines. Mais pour les chercheurs externes, cela n’était pas possible : chaque modification aurait nécessité une nouvelle revue de vie privée, rendant l’étude impossible. Pour contourner ce problème, les chercheurs ont testé leurs questions sur WildChat, un jeu de données public de conversations humain-IA. Cependant, WildChat reflète surtout des usages occasionnels et créatifs, contrairement aux données réelles de Claude. Certaines questions fonctionnaient bien sur WildChat, mais produisaient des catégories trompeuses sur les vraies données de Claude. Pour y remédier, Anthropic a fourni des conseils sur l’interprétation des résultats (voir l’annexe).

TRANSPARENCE SANS FAVORISER LES ABUS

Certaines catégories dans les résultats d’Anthropic Insights ont révélé des violations des politiques d’utilisation acceptables ou des conditions d’utilisation de Claude. Par exemple, une catégorie a révélé que des utilisateurs demandaient des conseils sur des activités interdites. Pour autant, Anthropic a choisi de partager la plupart de ces violations avec le public, sauf celles qui décrivaient comment les utilisateurs contournaient les protections, plutôt que quoi ils tentaient de faire. Moins de 5 % des catégories et des conversations étaient concernées dans chaque étude. Dans chaque cas, les chercheurs ont été informés des clusters modifiés ou supprimés, et des raisons de ces modifications.

Anthropic a pour habitude de partager les données agrégées révélant des violations avec son équipe de protection pour examen. Ce processus a également été appliqué avec les chercheurs externes. L’objectif ? Maintenir la transparence sur les abus sans donner d’idées aux utilisateurs mal intentionnés.

PLUSIEURS PERSPECTIVES POUR MIEUX COMPRENDRE

Parfois, pour résoudre un problème, il faut l’aborder sous plusieurs angles. C’est ce qu’ont fait les partenaires externes. Par exemple, METR a posé des questions similaires à celles étudiées en interne par l’équipe économique d’Anthropic sur « le codage agentique et les retours persistants à l’expertise ». Cette superposition a été bénéfique : elle a permis aux chercheurs externes d’examiner les mêmes données et de tirer leurs propres conclusions. Que ces conclusions coïncident ou non avec celles d’Anthropic reste à voir, mais cette approche a permis d’enrichir la compréhension globale.

Anthropic a même mis en relation METR avec son équipe économique, ce qui a amélioré le travail des deux équipes. Cette collaboration montre l’importance de croiser les regards pour obtenir une image plus complète.

LES LEÇONS APPRISES POUR L’AVENIR

Cette expérience était autant une expérience sur la façon de mener un tel programme qu’un moyen de permettre une recherche tierce préservant la vie privée. Protéger la vie privée des utilisateurs et l’indépendance des chercheurs étaient les deux priorités, et les deux ont été respectées. Cependant, tout cela a rendu le projet lent et coûteux en ressources, deux facteurs qui compliquent son extension à grande échelle.

Parmi les leçons clés :

• La valeur de la diversité des approches : Les questions des chercheurs externes ont parfois recoupé celles posées en interne, mais elles ont aussi apporté des perspectives nouvelles que les équipes d’Anthropic n’auraient pas envisagées.
• L’adaptation des méthodes de recherche : Les outils internes comme Anthropic Insights nécessitent une formulation très précise des questions. Pour les chercheurs externes, cette précision était difficile à atteindre sans compromettre la rapidité ou la faisabilité de l’étude.
• La transparence sans risque : Partager les violations des politiques d’utilisation est crucial, mais il faut éviter de donner des idées aux utilisateurs mal intentionnés.

QUELLE EST LA PROCHAINE ÉTAPE ?

Anthropic doit maintenant décider comment étendre ce programme. Deux questions se posent : quels types d’études peut-on soutenir, compte tenu des contraintes actuelles ? Et combien d’études peut-on mener simultanément ? Pour l’instant, la priorité est de garantir vie privée, sécurité et qualité de la recherche. L’entreprise veut aussi évaluer l’intérêt des chercheurs et comprendre quels sujets ils souhaiteraient étudier.

Si vous êtes chercheur et que l’accès à Anthropic Insights vous permettrait de réaliser des travaux que vous ne pouvez pas faire aujourd’hui, vous pouvez remplir ce formulaire pour manifester votre intérêt.

L’ANNEXE : TOUS LES DÉTAILS TECHNIQUES

Une annexe complète est disponible ici. Elle décrit comment le programme a été mené, y compris :

• Le processus de sélection des trois partenaires.
• Le guide de recherche rédigé pour expliquer les objectifs du programme et ce qu’Anthropic Insights permet de faire.
• La façon dont chaque projet est passé de la proposition à la conception de l’étude, puis à l’analyse.
• Les détails des accords de collaboration, qui stipulent explicitement que les partenaires sont libres de publier leurs résultats, même si ceux-ci sont défavorables à Anthropic.
• Les résultats de l’audit de vie privée mené par l’Imperial College London.
• Le modèle de menace de vie privée appliqué à toutes les données partagées.
• Des conseils pour interpréter les données issues des études des partenaires avec Anthropic Insights.

Cette annexe est une ressource précieuse pour comprendre les coulisses de cette expérience et les garanties mises en place pour protéger à la fois la vie privée des utilisateurs et l’indépendance des chercheurs.

UN PREMIER PAS PROMETTEUR, MAIS LE CHEMIN EST LONG

Comprendre les effets de l’IA sur la société est une tâche trop grande pour les entreprises d’IA seules. Elle nécessite l’implication de chercheurs externes, qui posent leurs propres questions et publient leurs résultats de manière indépendante. Cette expérience était une première : des chercheurs externes ont pu mener des études indépendantes sur les données d’utilisation d’une entreprise d’IA, sans compromettre la vie privée des utilisateurs. Le processus a été plus difficile que prévu, mais jusqu’ici, la réponse est oui : c’est possible.

Les partenaires ont mené des recherches que les équipes d’Anthropic n’auraient pas imaginées elles-mêmes. Chaque équipe a apporté un éclairage nouveau sur les impacts réels de l’IA. C’est un premier pas prometteur, mais il reste beaucoup à faire. La prochaine étape est de déterminer si ce programme peut être étendu, à la fois en termes de types d’études soutenues et du nombre d’études menées simultanément.

Anthropic avance prudemment pour garantir vie privée, sécurité et qualité de la recherche. L’entreprise veut aussi mesurer l’intérêt des chercheurs et comprendre quels sujets ils souhaiteraient explorer. Si vous êtes chercheur et que l’accès à Anthropic Insights vous permettrait de réaliser des travaux que vous ne pouvez pas faire aujourd’hui, remplissez ce formulaire pour manifester votre intérêt.