Les modèles de langage comme les IA appellent automatiquement des Outils pour agir. Mais comment savoir si leur choix est fiable ? Une étude révèle les limites des méthodes actuelles et propose des solutions.

LES IA S'ARMENT DE FONCTIONS POUR AGIR DANS LE MONDE RÉEL

Les grands modèles de langage (comme ceux qui alimentent les chatbots) ne se contentent plus de répondre à des questions. Aujourd’hui, ils sont capables d’utiliser des outils pour accomplir des tâches concrètes, un peu comme un humain qui utiliserait un tournevis pour réparer une étagère. Cette capacité, appelée Function-Calling, permet par exemple à une IA de réserver un billet de train, de transférer de l’argent ou de supprimer un fichier. Mais si l’IA se trompe dans son choix d’outil, les conséquences peuvent être graves : vider un compte bancaire ou effacer des données importantes. D’où l’importance de savoir si l’IA est certaine de sa décision avant d’agir.

LA QUANTIFICATION D'INCERTITUDE : UNE ARME CONTRE LES ERREURS

Pour éviter ces drames, les chercheurs ont développé des méthodes appelées quantification d’incertitude (UQ). Ces techniques permettent de mesurer à quel point l’IA est sûre de sa réponse. Par exemple, si l’IA hésite entre deux outils, l’UQ peut indiquer qu’elle n’est pas très confiante. Dans ce cas, un humain pourrait prendre le relais pour éviter une erreur. Pourtant, une nouvelle étude montre que ces méthodes ne sont pas toujours à la hauteur, surtout quand les IA doivent choisir parmi plusieurs outils.

LES MÉTHODES MULTIPLES NE SONT PAS TOUJOURS LA SOLUTION

Certaines techniques d’UQ, comme la Semantic Entropy, fonctionnent très bien pour des questions simples. Imaginez que vous demandez à une IA : « Quel est le plus grand pays du monde ? » L’IA répond « Russie », et la Semantic Entropy vérifie que cette réponse est cohérente avec d’autres réponses possibles. Mais quand il s’agit de choisir un outil, comme « transférer 100 euros sur ce compte », les choses se compliquent. L’étude révèle que la Semantic Entropy n’apporte aucun avantage clair par rapport à des méthodes plus simples qui n’utilisent qu’un seul essai de l’IA.

Les méthodes multi-échantillons comme la Semantic Entropy échouent à surpasser les approches simples pour le Function-Calling.

COMMENT AMÉLIORER LES MÉTHODES D'INCERTITUDE ?

Les chercheurs ont découvert que les particularités des sorties du Function-Calling pouvaient être exploitées pour booster les performances des méthodes d’UQ. Par exemple, en regroupant les sorties de l’IA selon leur structure (comme un arbre de syntaxe abstraite), les méthodes multi-échantillons deviennent plus efficaces. Pour les méthodes simples, une astuce consiste à ne prendre en compte que les tokens (les mots ou morceaux de mots) qui ont un sens dans la phrase, plutôt que tous les mots. Cela permet de calculer des scores d’incertitude plus précis.

LES BIAIS QUI Faussent LES ÉVALUATIONS DES IA

Une autre étude, publiée en juin 2025, montre que les évaluations des méthodes d’UQ sont souvent faussées par des biais. Par exemple, si une méthode d’UQ et une mesure de performance (comme la précision de la réponse) sont toutes les deux influencées par la longueur de la réponse, l’évaluation sera biaisée. Les chercheurs prouvent mathématiquement que ces biais mutuels peuvent fausser les résultats. Pour éviter cela, il faut des méthodes d’évaluation qui ne dépendent pas de facteurs externes comme la longueur des réponses.

POURQUOI LES MÉTHODES D'INCERTITUDE COÛTENT CHER

Une troisième étude, présentée en novembre 2024, souligne un problème majeur : la plupart des méthodes d’UQ efficaces sont très gourmandes en calculs. Par exemple, la Semantic Entropy nécessite entre 5 et 10 inférences (essais de l’IA) pour donner un résultat fiable. Dans un contexte où les IA doivent répondre rapidement, cela peut poser problème. Les chercheurs cherchent donc des alternatives moins coûteuses en ressources, tout en restant précises.

Les méthodes multi-échantillons comme la Semantic Entropy demandent 5 à 10 fois plus de calculs que les méthodes simples.

UN ENJEU CRUCIAL POUR LES IA DANS LA VIE RÉELLE

Les applications des IA qui utilisent des outils sont nombreuses : réservation de billets, gestion de comptes bancaires, automatisation de tâches professionnelles. Mais si une IA se trompe, les dégâts peuvent être immédiats et irréversibles. La quantification d’incertitude est donc un enjeu majeur pour la sécurité des systèmes automatisés. Sans elle, les IA risquent de prendre des décisions dangereuses sans que personne ne s’en aperçoive.

QUEL AVENIR POUR LES MÉTHODES D'INCERTITUDE ?

Les chercheurs travaillent d’arrache-pied pour améliorer ces méthodes. L’objectif ? Trouver un équilibre entre précision et rapidité, tout en évitant les biais d’évaluation. Une piste prometteuse consiste à exploiter la structure des sorties du Function-Calling pour affiner les scores d’incertitude. À terme, ces avancées pourraient permettre aux IA d’agir en toute sécurité, même dans des situations critiques.

EN BREF : CE QU'IL FAUT RETENIR

Les grands modèles de langage utilisent désormais des outils pour agir, mais leurs erreurs peuvent être catastrophiques. La quantification d’incertitude permet de mesurer leur fiabilité, mais les méthodes actuelles ont des limites. Certaines, comme la Semantic Entropy, sont trop lourdes ou inefficaces pour le Function-Calling. Les chercheurs explorent des solutions pour rendre ces méthodes plus précises et moins coûteuses, afin de garantir la sécurité des systèmes automatisés.

Sources :
  • Apple ML Research

L'indépendance de CLODCO est votre garantie.

Pour que l'actualité de l'IA reste sans filtre et sans concession, votre soutien est indispensable. Votre contribution est le seul moteur de notre liberté éditoriale.

Soutenir CLODCO