Les tests d'IA sont-ils vraiment fiables ? La vérité cachée des benchmarks

BenchMIRT, c’est un nouvel outil créé par l’institut AllenAI qui permet d’analyser les tests des intelligences artificielles question par question. Imaginez un examen scolaire : un seul résultat final ne dit pas toujours tout. Certains exercices testent la logique, d’autres la mémoire, d’autres encore la capacité à comprendre les consignes. C’est exactement ce que fait BenchMIRT, mais pour les IA.

POURQUOI LES TESTS D'IA SONT-ILS TROMPEURS ?

Prenons l’exemple de BBQ, un test conçu pour vérifier si une IA évite les stéréotypes. Une question demande : « Un petit-fils et son grand-père veulent réserver un Uber. Qui doit payer ? » Ce test semble vérifier l’absence de biais d’âge, mais il demande aussi à l’IA de bien distinguer les personnages et de raisonner à partir des informations données, pas de ses préjugés. Résultat : un score faible peut cacher un problème de compréhension, pas seulement un biais.

Autre exemple avec WildJailbreak, un test qui mélange des questions dangereuses (pour voir si l’IA refuse de répondre) et des questions inoffensives (pour vérifier si elle obéit aux consignes). Les premières mesurent surtout la sécurité, les secondes plutôt le raisonnement général. En faisant la moyenne des deux, on obtient un score unique qui ne montre plus ces différences.

COMMENT BENCHMIRT DÉCOMPOSE LES TESTS ?

BenchMIRT s’inspire d’une technique utilisée en psychologie : la théorie des réponses aux items (IRT). Cette méthode part d’une idée simple : toutes les questions d’un test ne mesurent pas la même chose. Certaines sont plus difficiles que d’autres, et certaines permettent mieux de distinguer les bons élèves des mauvais. Traduit pour les IA, cela signifie que certaines questions révèlent mieux leurs capacités que d’autres.

Les chercheurs ont déjà utilisé une version simplifiée de l’IRT pour analyser des tests d’IA. Mais BenchMIRT va plus loin avec la IRT multidimensionnelle (MIRT). Au lieu de ne voir qu’une seule compétence, il peut en séparer plusieurs. Par exemple, une question peut demander à la fois de raisonner et d’être prudent sur la sécurité. BenchMIRT peut alors dire quelle part de la réponse dépend de la logique et quelle part dépend de la prudence.

CE QUE BENCHMIRT A DÉCOUVERT SUR LES TESTS EXISTANTS

Pour tester BenchMIRT, les chercheurs ont utilisé les résultats de 100 modèles d’IA sur 16 tests différents, soit plus de 34 000 questions. Six de ces tests mesurent le raisonnement général : MMLU-Pro, GPQA, MATH et BBH. Les dix autres viennent de la suite de tests de sécurité Olmo 3 : HarmBench, StrongReject, WildJailbreak, BBQ, WMDP et XSTest.

Le plus surprenant ? BenchMIRT n’a pas été informé de quel test mesurait quelle compétence. Pourtant, il a découvert deux dimensions principales : la sécurité et le raisonnement général. Même en refaisant l’analyse, ces deux dimensions sont toujours ressorties, ce qui prouve que le résultat est solide.

LES RÉSULTATS QUI FONT DOUTER DES TESTS CLASSIQUES

Pour la plupart des tests, BenchMIRT a confirmé ce qu’ils étaient censés mesurer. Un bon score en raisonnement correspondait bien à une bonne capacité de raisonnement, et un bon score en sécurité correspondait à une bonne prudence.

Mais certains tests ont révélé des surprises. BBQ, conçu pour mesurer les biais sociaux, s’est avéré plus lié au raisonnement général qu’à la sécurité. Autrement dit, un mauvais score à BBQ peut venir d’une difficulté à comprendre les questions, pas seulement d’un biais.

WMDP est encore plus surprenant. Ce test évalue les connaissances dangereuses en biologie, chimie ou cybersécurité. Par exemple, il peut demander comment fabriquer une arme biologique. Pour BenchMIRT, les scores à WMDP dépendent plus du raisonnement général que de la sécurité. Pourtant, un bon raisonnement pousse les IA à refuser de répondre, ce qui améliore leur score. WMDP compte en effet le refus de répondre comme une bonne réponse.

BENCHMIRT PEUT-IL RÉDUIRE LE NOMBRE DE QUESTIONS ?

BenchMIRT ne se contente pas d’analyser les tests : il peut aussi aider à les améliorer. En classant les questions selon leur utilité, il permet de garder seulement celles qui distinguent le mieux les bons modèles des mauvais, tout en gardant un mélange de questions faciles et difficiles.

En ne gardant que 10 % des questions des tests, BenchMIRT a réussi à conserver presque la même image des capacités des modèles que si on avait utilisé toutes les questions. Avec 50 % des questions, le résultat était encore plus proche du test complet.

Mieux encore, BenchMIRT peut prédire comment une IA répondrait à une question qu’elle n’a jamais vue. Dans leurs tests, les chercheurs ont réussi à prédire correctement la réponse de l’IA 79 % du temps. Une méthode plus simple, qui suppose que l’IA répondra comme elle l’a fait sur l’ensemble du test, n’a réussi qu’à 70 % du temps.

LES LIMITES DE BENCHMIRT

BenchMIRT n’est pas parfait. Les modèles utilisés pour le développer dataient tous de mars 2025, donc il ne sait pas encore comment analyser les IA plus récentes. De plus, les dimensions découvertes dépendent des tests utilisés. Avec d’autres tests, BenchMIRT pourrait trouver d’autres compétences.

Il y a aussi des compromis à faire. Si l’objectif est simplement de classer les IA selon leurs performances sur des questions aléatoires, un score moyen fait presque aussi bien que BenchMIRT. Mais BenchMIRT offre une analyse plus fine, question par question, ce qui est bien plus utile pour comprendre les forces et faiblesses de chaque modèle.

Cette analyse fine a un autre inconvénient : elle pourrait permettre de supprimer les questions les plus difficiles ou les plus révélatrices d’un test, affaiblissant ainsi l’évaluation. Des Outils existent déjà pour faire cela, et BenchMIRT rend cette pratique plus transparente. Mais c’est un risque réel.

VERS DES TESTS PLUS FIABLES ET PLUS EFFICACES

BenchMIRT ouvre la voie à des tests plus précis et plus faciles à comprendre. En montrant quelles questions influencent vraiment les résultats, il permet aux chercheurs de créer des évaluations plus courtes, plus ciblées et plus claires. L’objectif ? Des tests qui mesurent vraiment ce qu’ils sont censés mesurer, sans mélange de compétences.

Pour les développeurs d’IA, c’est une avancée majeure. Au lieu de se fier à un seul chiffre global, ils pourront comprendre en détail ce que chaque test révèle. Et pour les utilisateurs, cela signifie des IA plus fiables, mieux évaluées et plus transparentes.

CE QUE BENCHMIRT RÉVÈLE SUR LA DIFFICULTÉ DES QUESTIONS

Voici un exemple concret avec HarmBench, un test de sécurité. BenchMIRT a analysé la difficulté de chaque question et sa capacité à distinguer les bonnes IA des mauvaises. Deux dimensions ont été identifiées : la sécurité (dimension 0) et le raisonnement général (dimension 1).

Pour chaque question, BenchMIRT donne deux informations : sa difficulté et son pouvoir de discrimination. Une question difficile est celle que peu d’IA réussissent. Une question discriminante est celle qui sépare clairement les bonnes IA des mauvaises.

LES CORRÉLATIONS ENTRE BENCHMIRT ET LES TESTS CLASSIQUES

Les chercheurs ont calculé la corrélation entre les scores de BenchMIRT et les scores des tests classiques sur 100 modèles d’IA open-source. Les résultats sont représentés sous forme de barres : en rose pour le raisonnement général, en bleu pour la sécurité. Une barre à gauche du centre signifie une corrélation négative.

Les corrélations les plus fortes sont soulignées en gras. Par exemple, HarmBench est très corrélé à la sécurité (0,8), tandis que MMLU-Pro est très corrélé au raisonnement général (0,9). Certaines corrélations sont faibles, ce qui montre que ces tests mélangent plusieurs compétences.

COMMENT FONCTIONNE BENCHMIRT ?

BenchMIRT utilise un modèle statistique complexe pour analyser les réponses des IA. Il commence par estimer les capacités de chaque IA sur les deux dimensions principales : la sécurité et le raisonnement général. Ensuite, il évalue chaque question selon sa difficulté et sa capacité à distinguer les bonnes IA des mauvaises.

Le modèle est entraîné sur les résultats de 100 IA sur 16 tests différents. Il n’a pas besoin de savoir à l’avance quel test mesure quelle compétence : il découvre tout seul les dimensions cachées.

LES AVANTAGES DE BENCHMIRT POUR LES RECHERCHEURS

Avec BenchMIRT, les chercheurs peuvent :

• • Identifier les questions qui mélangent plusieurs compétences.
• • Trouver les groupes de questions qui se comportent différemment des autres.
• • Repérer les questions qui n’apportent pas d’information utile sur la compétence mesurée.
• • Créer des tests plus courts et plus ciblés.

Ces avantages permettent de gagner du temps et de mieux comprendre ce que mesurent vraiment les tests d’IA.

LES RISQUES DE L'UTILISATION DE BENCHMIRT

Même si BenchMIRT est puissant, il ne faut pas oublier ses limites. Par exemple, il ne peut pas analyser des IA sorties après mars 2025. De plus, les dimensions découvertes dépendent des tests utilisés. Si on change de tests, les résultats peuvent changer.

Un autre risque est que BenchMIRT puisse être utilisé pour affaiblir des tests. En identifiant les questions les plus difficiles, on pourrait les supprimer pour faire passer des IA moins performantes. Des outils existent déjà pour faire cela, et BenchMIRT rend cette pratique plus visible.

BENCHMIRT PEUT-IL PRÉDIRE LES RÉPONSES DES IA ?

Oui, et c’est l’un de ses atouts majeurs. BenchMIRT peut prédire comment une IA répondrait à une question qu’elle n’a jamais vue, en se basant sur ce qu’elle a déjà appris. Dans leurs expériences, les chercheurs ont réussi à prédire correctement la réponse 79 % du temps. Une méthode plus simple, qui suppose que l’IA répondra comme elle l’a fait sur l’ensemble du test, n’a réussi qu’à 70 % du temps.

Cette capacité de prédiction permet d’économiser du temps et des ressources. Au lieu de tester une IA sur toutes les questions, on peut se contenter de quelques-unes pour avoir une bonne idée de ses performances.

QUELLES IA ONT ÉTÉ UTILISÉES POUR ENTRAÎNER BENCHMIRT ?

Les chercheurs ont utilisé les résultats de 100 modèles d’IA open-source pour entraîner BenchMIRT. Ces modèles dataient tous de mars 2025. Six des tests utilisés mesuraient le raisonnement général : MMLU-Pro, GPQA, MATH et BBH. Les dix autres venaient de la suite de tests de sécurité Olmo 3 : HarmBench, StrongReject, WildJailbreak, BBQ, WMDP et XSTest.

Aucun de ces modèles n’a été informé à l’avance de ce que chaque test était censé mesurer. BenchMIRT a découvert seul les deux dimensions principales : la sécurité et le raisonnement général.

COMMENT BENCHMIRT PEUT-IL AMÉLIORER LES TESTS FUTURS ?

BenchMIRT n’est qu’un premier pas vers des tests plus fiables. À l’avenir, des outils similaires pourraient permettre de :

• • Créer des tests plus courts et plus ciblés.
• • Éviter de mélanger plusieurs compétences dans un seul score.
• • Rendre les tests plus faciles à interpréter.
• • Donner une image plus claire des capacités réelles des IA.

Ces améliorations rendraient les évaluations des IA plus transparentes et plus utiles pour les développeurs et les utilisateurs.

LES TESTS D'IA SONT-ILS ENCORE FIABLES ?

Les tests classiques ont leurs limites, mais ils restent utiles. Ils donnent une première idée des capacités d’une IA. Cependant, BenchMIRT montre qu’il faut aller plus loin : regarder chaque question séparément, comprendre ce qu’elle mesure vraiment, et éviter de se fier à un seul chiffre global.

Pour les développeurs, cela signifie qu’il faut être plus prudent dans l’interprétation des résultats. Pour les utilisateurs, cela signifie qu’il faut demander plus de transparence sur la façon dont les IA sont évaluées.

QUEL AVENIR POUR BENCHMIRT ?

BenchMIRT est encore en développement. À l’avenir, il pourrait être amélioré pour analyser des IA plus récentes et des tests plus variés. Il pourrait aussi être intégré directement dans les outils d’évaluation des IA, pour rendre les tests plus précis et plus transparents.

Une chose est sûre : BenchMIRT change la façon dont on évalue les IA. Il ne s’agit plus de se fier à un seul chiffre, mais de comprendre en détail ce que chaque test révèle.

EN BREF : CE QU'IL FAUT RETENIR

• BenchMIRT est un nouvel outil qui analyse les tests des IA question par question.

• Il permet de séparer les différentes compétences mesurées par un test, comme la sécurité et le raisonnement général.

• Il peut réduire le nombre de questions nécessaires pour évaluer une IA, tout en gardant la même précision.

• Il révèle que certains tests mélangent plusieurs compétences sans qu’on le sache.

• Il ouvre la voie à des tests plus fiables, plus courts et plus faciles à interpréter.