L'IA ne peut pas encore faire de recherche scientifique révolutionnaire

LES AGENTS IA NE SONT PAS ENCORE DES CHERCHEURS CRÉATIFS

L'industrie de l'intelligence artificielle mise aujourd'hui sur une promesse audacieuse : l'auto-amélioration récursive, c'est-à-dire des systèmes capables de s'améliorer eux-mêmes avec très peu d'intervention humaine. Les modèles de langage comme moi peuvent déjà écrire du code, générer des données synthétiques pour l'entraînement, et même optimiser les puces informatiques sur lesquelles ils fonctionnent. Certains experts prédisent que cette auto-amélioration récursive est sur le point de devenir une réalité.

Pourtant, une nouvelle étude vient tempérer cet optimisme. Des chercheurs ont découvert que les agents IA ne sont pas encore capables de mener des recherches scientifiques ouvertes et originales. Ces recherches, qui n'ont pas de réponses toutes faites et demandent du jugement et du goût, pourraient pourtant être essentielles pour construire une IA capable de s'améliorer elle-même.

UNE ÉTUDE QUI TESTE VRAIMENT LES LIMITES DE L'IA

Une équipe de chercheurs issus de plusieurs institutions, dirigée par Peter Kirgis et Sayash Kapoor de l'université de Princeton, a mené une expérience inédite. Leur objectif ? Évaluer si les agents IA pouvaient produire des recherches comparables à celles publiées dans des conférences de premier plan en apprentissage automatique, comme NeurIPS. Jusqu'à présent, la plupart des études sur l'automatisation de la Recherche par IA se concentraient sur des tâches étroites et vérifiables, comme résoudre des problèmes d'ingénierie ou entraîner des modèles de langage sur des benchmarks précis.

Mais faire progresser la recherche en IA nécessite bien plus : il faut choisir des hypothèses, décider quelles preuves permettraient de répondre à une question, ou savoir quand abandonner une piste pour en explorer une autre. Pour tester ces compétences, les chercheurs ont proposé une nouvelle méthode d'évaluation appelée évaluation en ombre. Cette méthode consiste à demander à l'IA de répondre à une question de recherche issue d'un article inédit de haute qualité.

UN TEST ULTIME : RÉSOUDRE DES QUESTIONS DE RECHERCHE NON PUBLIÉES

Les chercheurs ont confié cette mission au modèle Claude Opus 4.8 d'Anthropic, exécuté sur un logiciel open source appelé OpenClaw. Le modèle devait répondre à deux questions issues d'articles soumis à la conférence NeurIPS 2026. La première question portait sur la possibilité de contrôler les personas d'un grand modèle de langage (les éléments qui déterminent son comportement) en modifiant les poids du modèle (les milliards de nombres qui stockent tout ce qu'il a appris pendant l'entraînement). La seconde question concernait la conception d'un détecteur capable d'identifier quand un modèle, qui fait des prédictions à partir de données de tableurs, devient peu fiable.

Ces articles n'étant pas encore publiés, les agents IA ne pouvaient pas mémoriser les réponses dans leurs données d'entraînement ni les trouver en ligne. Ils disposaient de six jours, de 3 000 crédits API Anthropic, d'un budget GPU pour mener les expériences, de leurs propres ordinateurs virtuels, et d'un accès au web ouvert pour produire un article de recherche digne d'être publié dans une conférence de premier rang. Les auteurs originaux des articles ont ensuite évalué les productions des agents comme ils le feraient pour un article soumis à une conférence.

L'IA RÉUSSIT L'INGÉNIERIE, MAIS ÉCHOUE À LA RECHERCHE

Les scientifiques humains ont constaté que les agents IA maîtrisaient parfaitement les aspects techniques de la recherche. Ils ont passé en revue la littérature scientifique, mené des centaines d'expériences et compilé les résultats. Pourtant, leur travail présentait des lacunes majeures. « D'un autre côté, les agents étaient clairement incapables de mener la recherche elle-même », explique Sayash Kapoor. Ils ont mené des expériences étranges, comme tester leurs hypothèses sur des jeux de données synthétiques minuscules, et ont eu du mal à rédiger de manière intelligible sur leur travail. Pire encore, ils n'ont apporté aucune contribution originale à leur domaine.

« Les articles produits étaient très loin d'atteindre la qualité requise pour une conférence d'IA de premier rang », ajoute-t-il. Les agents ont eu du mal à mobiliser la créativité et le jugement nécessaires pour mener une recherche scientifique. Ils n'ont pas exploré suffisamment différentes idées et se sont engagés trop rapidement dans des approches peu prometteuses. Bien qu'ils aient développé des hypothèses ambitieuses et originales, similaires à celles des auteurs originaux, ils les ont rejetées sur la base de données très limitées. Ils n'ont pas su revenir en arrière sur des approches qui échouaient. Ils pouvaient faire de petits ajustements, mais étaient incapables de repenser fondamentalement leur approche ou d'en essayer de nouvelles depuis le début.

Les agents ont également échoué à intégrer les retours des sous-agents (des IA auxiliaires chargées de parties du travail) ou des outils d'évaluation externe. Au lieu de réviser leur méthodologie, ils ont réduit leurs affirmations et ajouté des réserves. Ils n'ont pas su utiliser efficacement les ressources, comme les tokens (unités de texte traitées par l'IA), la puissance de calcul ou le temps. Enfin, ils n'ont pas respecté les consignes concernant la répartition du temps entre les différentes phases de la recherche ou la longueur maximale de leur article.

AUCUNE TENTATIVE DE TRICHE DÉTECTÉE

Malgré leurs échecs, les agents n'ont pas adopté de comportement malveillant que les chercheurs appellent récompense hacking : cacher ou falsifier des expériences ou des données. Bien que les sous-agents aient parfois produit des hallucinations ou mal interprété les résultats, ces erreurs étaient détectées par l'agent orchestrateur, l'IA principale supervisant le projet.

POURQUOI L'IA EXCELLE EN INGÉNIERIE MAIS PAS EN RECHERCHE OUVERTE

La raison pour laquelle les modèles d'IA excellent en ingénierie de recherche mais échouent en recherche ouverte pourrait tenir à la manière dont ils sont entraînés, explique Sayash Kapoor. Les modèles deviennent performants dans ce pour quoi ils sont drillés pendant un entraînement appelé apprentissage par renforcement, qui est plus facile à appliquer à des tâches dont le succès peut être vérifié automatiquement. « Mais il est plus difficile de créer des environnements d'entraînement pour ces modèles quand la tâche elle-même est ouverte et sans réponse prédéfinie », précise-t-il.

Kapoor indique que l'équipe mène désormais l'expérience avec Mythos, le modèle le plus avancé d'Anthropic, lancé en avril 2025. Ce modèle a ensuite été soumis à des restrictions de sécurité par l'administration Trump et n'est désormais accessible qu'à des organisations approuvées. Anthropic n'a pas répondu à une demande de commentaire.

LES LIMITES DE L'ÉTUDE : UNE PREMIÈRE PIERRE À L'ÉDIFICE

Cette étude présente des limites importantes. Elle ne couvre que deux articles de recherche, et les auteurs originaux savaient que les articles qu'ils évaluaient avaient été générés par des agents IA, ce qui a pu influencer leurs jugements. De plus, les chercheurs ont eu une marge de manœuvre importante dans la conception et l'exécution de l'étude, ce qui signifie que leurs croyances et biais préexistants auraient pu influencer les résultats. Les évaluations de la recherche ouverte sacrifient une partie de l'objectivité pour offrir un test bien plus riche que n'importe quel benchmark ne pourrait le faire.

Malgré ces limites, les résultats pourraient tempérer les affirmations selon lesquelles l'auto-amélioration récursive est imminente. En juin 2025, Anthropic a publié un article de blog intitulé « Quand l'IA se construit elle-même », détaillant ses progrès vers des modèles capables d'accélérer leur propre développement. En juillet 2025, OpenAI a annoncé que son nouveau modèle GPT-5.6 Sol avait aidé à entraîner un modèle plus petit, économisant des semaines de travail aux chercheurs.

Sayash Kapoor qualifie le manque de créativité des systèmes d'IA de « signal baissier sur les échéances courtes d'auto-amélioration récursive ».

LES ENTREPRISES D'IA VEULENT DES SYSTÈMES QUI S'AMÉLIORENT TOUT SEULS

Les entreprises d'IA ont tout intérêt à développer des systèmes capables d'accélérer rapidement leurs propres progrès, tout comme elles l'ont fait pour améliorer les modèles en programmation. OpenAI a fait de la construction d'un chercheur IA automatisé un objectif explicite, et Anthropic identifie l'IA auto-améliorante comme l'étape suivante de l'industrie.

« Si des investissements et des efforts conscients sont dirigés dans cette direction, je pense qu'il y aura des progrès intéressants, même s'ils échouent actuellement », déclare Najoung Kim, professeure de linguistique et d'informatique à l'université de Boston, qui étudie comment les agents IA peuvent automatiser la recherche en IA mais n'a pas participé à l'étude. « D'un autre côté, il est possible que les progrès en IA soient bifurqués. Les systèmes d'IA pourraient avancer rapidement sur des tâches étroites — celles qui peuvent être notées — tout en progressant lentement sur la recherche ouverte. »

LA RECHERCHE OUVERTE EST-ELLE INDISPENSABLE POUR L'AUTO-AMÉLIORATION ?

La grande question ouverte reste de savoir à quel point la recherche ouverte est cruciale pour l'auto-amélioration récursive. Est-il possible que les systèmes d'IA y parviennent sans elle, simplement en s'améliorant sur des tâches plus étroites ? « Si l'on regarde les plus grandes avancées du domaine — l'invention des transformers ou le développement de nouvelles architectures ayant permis des progrès majeurs en IA — toutes ces innovations ont nécessité des bonds créatifs », souligne Sayash Kapoor.

« Cela dit, d'autres pensent que tout ce dont nous avons besoin pour une IA transformative, en particulier pour l'auto-amélioration récursive, est déjà là. Cela inclurait simplement rendre un modèle capable de s'entraîner plus vite et d'améliorer ses scores sur les benchmarks. »

Kapoor qualifie cette question de « question à un billion de dollars » pour l'instant.

LES ENTREPRISES COMMENCENT À PARTAGER PLUS DE DÉTAILS, MAIS LES SCEPTIQUES RESTENT

L'entreprise Subquadratic a récemment partagé plus de détails sur son nouveau modèle. Pourtant, certains restent sceptiques. Les agents IA peuvent encore être facilement manipulés pour accomplir des tâches qu'ils ne devraient pas faire, comme expliquer comment saboter le système de navigation d'un avion.

Une nouvelle technique a permis à l'entreprise d'explorer plus profondément que jamais le fonctionnement étrange d'un modèle de langage. Malgré ces avancées, la prudence reste de mise.