Les IA ne raisonnent pas comme nous : le grand bug des modèles de langage

LES IA SONT DÉPLOYÉES DANS DES DOMAINES COMPLEXES

Les modèles de langage (comme ceux qui alimentent les chatbots) sont utilisés dans des secteurs où il n’y a pas toujours une seule bonne réponse. En médecine, en science ou en Droit, les professionnels doivent constamment ajuster leurs idées en fonction des nouvelles preuves. Une IA qui ferait la même chose serait donc idéale : elle pourrait analyser des données, évaluer des hypothèses et mettre à jour ses croyances probabilistes (ses estimations sur ce qui est probable ou non) au fil du temps.

UNE NOUVELLE MÉTHODE POUR TESTER LE RAISONNEMENT DES IA

Des chercheurs ont mis au point une technique pour étudier comment les grands modèles de langage (LLM) traitent l’information. Leur méthode repose sur la comparaison entre la façon dont une IA met à jour ses croyances et la façon dont un humain rationnel le ferait. En théorie, une IA « bayésienne » (qui suit les règles du théorème de Bayes, une formule mathématique qui décrit comment on devrait ajuster ses croyances avec de nouvelles preuves) devrait être la plus efficace. Pourtant, les résultats montrent que ce n’est pas toujours le cas.

DEUX APPROCHES POUR INTÉGRER LES NOUVELLES INFORMATIONS

Les scientifiques ont testé plusieurs façons pour une IA d’intégrer de nouvelles preuves. Certaines méthodes produisent des mises à jour quasi bayésiennes (proches de l’idéal théorique), tandis que d’autres reposent sur des heuristiques apprises (des raccourcis mentaux que l’IA a découverts toute seule). Contre toute attente, les heuristiques non bayésiennes surpassent parfois les mises à jour bayésiennes exactes en termes de performance sur des tâches concrètes. Cela suggère que les modèles probabilistes des IA sont mal calibrés : elles ne représentent pas correctement le monde.

UN OUTIL POUR DIAGNOSTIQUER LES FAIBLESSES DES IA

Les chercheurs ont développé une mesure pour évaluer les incohérences internes des IA lorsqu’elles mettent à jour leurs croyances. Cet outil permet d’identifier les problèmes dans les systèmes d’inférence basés sur des LLM. Par exemple, une IA pourrait croire dur comme fer à une idée, puis changer d’avis de manière incohérente après avoir reçu une nouvelle information. Ces incohérences peuvent poser problème dans des domaines où la cohérence est cruciale, comme la médecine ou le droit.

PRIMEX : UNE BASE DE DONNÉES POUR COMPRENDRE LES CROYANCES HUMAINES

Pour mieux comprendre comment les humains forment et ajustent leurs opinions, des chercheurs ont créé PrimeX, une base de données contenant les réponses de 858 résidents américains à des sondages publics. Cette base inclut non seulement leurs opinions, mais aussi des explications sur leurs croyances. L’objectif est de permettre aux modèles de langage de mieux représenter les individus et d’améliorer leur alignement (leur capacité à comprendre et refléter les intentions humaines).

MUSCLE : UNE TECHNIQUE POUR ÉVITER LES RÉGRESSIONS LORS DES MISES À JOUR

Les modèles de langage sont régulièrement mis à jour pour améliorer leurs performances. Cependant, ces mises à jour peuvent parfois dégrader les résultats pour certains cas précis, ce qui perturbe les utilisateurs habitués à une version précédente. Pour résoudre ce problème, des chercheurs ont développé MUSCLE, une stratégie de mise à jour qui vise à maintenir la compatibilité entre les différentes versions d’un modèle. L’idée est d’éviter que les utilisateurs perdent leurs repères à chaque nouvelle version.

POURQUOI CES DÉCOUVERTES SONT IMPORTANTES

Ces travaux révèlent que les grands modèles de langage ne fonctionnent pas exactement comme des humains rationnels. Leurs méthodes de raisonnement, bien que parfois moins logiques, peuvent être plus efficaces dans certains contextes. Cependant, leurs incohérences peuvent aussi poser des risques, notamment dans des domaines où la précision est vitale. Les chercheurs soulignent l’importance de développer des outils pour diagnostiquer et corriger ces problèmes, afin que les IA deviennent plus fiables et mieux adaptées aux besoins humains.

UNE RECHERCHE EN CONSTANTE ÉVOLUTION

La recherche en apprentissage automatique progresse chaque jour, repoussant les limites de ce que les IA peuvent accomplir. Chaque nouvelle découverte, comme celle-ci, permet de mieux comprendre les forces et les faiblesses de ces technologies. L’objectif final reste de créer des systèmes capables de raisonner de manière transparente, cohérente et utile pour les humains.