L'IA qui ment ? Comment les modèles d'IA cachent la vérité sans qu'on s'en rende compte

UNE ENTREPRISE VEUT RÉPARER LES ERREURS DES IA SUR LES SUJETS SENSIBLES

Une entreprise nommée Forum AI teste la fiabilité des modèles de fondation sur des sujets où les réponses ne sont jamais simples : géopolitique, santé mentale, finance ou recrutement. Ces domaines sont remplis de nuances, de zones grises et de complexités que les intelligences artificielles peinent encore à saisir correctement. Pour Campbell Brown, fondatrice de Forum AI, l'objectif est clair : évaluer comment les IA se comportent face à des questions sans réponses binaires, là où même les experts humains peinent à trancher.

DES EXPERTS DE RANG MONDIAL POUR NOTER LES PERFORMANCES DES IA

Pour créer ses benchmarks, Forum AI s'appuie sur des sommités dans leurs domaines. Parmi eux, on trouve Niall Ferguson, Fareed Zakaria, Tony Blinken (ancien secrétaire d'État américain) ou encore Anne Neuberger, qui a dirigé la cybersécurité sous l'administration Obama. L'idée ? Former des juges IA capables de comparer les réponses des modèles à celles de ces experts humains. Le but est d'atteindre un consensus à 90 % entre les IA et les humains. Un objectif déjà atteint par Forum AI pour ses évaluations en géopolitique.

L'ORIGINE DE FORUM AI : UNE PRISE DE CONSCIENCE ALARMANTE

Campbell Brown raconte que Forum AI est née il y a 17 mois à New York, après un déclic survenu lors du lancement public de ChatGPT. « J'étais chez Meta quand ChatGPT a été rendu public, se souvient-elle. Peu après, j'ai réalisé que cette technologie allait devenir le principal canal par lequel circulerait toute l'information. Et elle n'était pas à la hauteur. » Cette prise de conscience a été si forte qu'elle en a ressenti une peur existentielle : « Mes enfants risquent de devenir vraiment stupides si nous ne trouvons pas comment régler ce problème. »

LES MODÈLES D'IA SE TROMPENT ENCORE TROP SOUVENT

Lorsque Forum AI a commencé à évaluer les meilleurs modèles disponibles, les résultats ont été loin d'être rassurants. Campbell Brown cite l'exemple de Gemini, qui a puisé des informations dans des sites liés au Parti communiste chinois pour des sujets sans aucun lien avec la Chine. Pire encore, elle relève un biais politique marqué à gauche dans presque tous les modèles testés. D'autres échecs plus subtils ont été observés : absence de contexte, perspectives manquantes, ou encore straw-manning (déformer un argument pour le réfuter plus facilement). « Il reste beaucoup de chemin à parcourir, admet-elle. Mais certaines corrections simples pourraient déjà améliorer considérablement les résultats. »

L'IA PEUT-ELLE DEVENIR UN OUTIL DE VÉRITÉ ?

Campbell Brown estime que l'IA pourrait briser ce cycle de désinformation, mais tout dépend de la direction que prendront les entreprises technologiques. Deux scénarios s'offrent à elles : soit elles cèdent aux demandes des utilisateurs en leur donnant ce qu'ils veulent entendre, soit elles optent pour la transparence et l'honnêteté. Elle reconnaît que l'idée d'une IA optimisée pour la vérité peut paraître naïve, mais elle voit dans les entreprises un allié inattendu. Les Sociétés qui utilisent l'IA pour des décisions financières, des prêts, des assurances ou du recrutement ont tout intérêt à éviter les erreurs, car elles engagent leur responsabilité. « Elles voudront que vous optimisiez pour obtenir le bon résultat », précise-t-elle.

LES ENTREPRISES, MOTEURS D'UNE IA PLUS FIABLE ?

C'est sur cette demande des entreprises que Forum AI mise pour son modèle économique. Pourtant, transformer l'intérêt des entreprises pour la conformité en revenus stables reste un défi de taille. Aujourd'hui, une grande partie du marché se contente d'audits superficiels et de benchmarks standardisés, que Campbell Brown juge totalement insuffisants. « Le paysage de la conformité est une blague », assène-t-elle sans détour.

POURQUOI LES AUDITS ACTUELS NE SUFFISENT PAS

Lorsqu'elle évoque la loi new-yorkaise sur le biais de recrutement, qui impose des audits d'IA, Campbell Brown souligne que plus de la moitié des entreprises testées présentaient des violations non détectées. Pour elle, une évaluation sérieuse nécessite une expertise pointue, capable de repérer non seulement les scénarios connus, mais aussi les cas limites qui « peuvent vous attirer des ennuis que personne n'avait prévus ». Et ce travail prend du temps. « Un généraliste intelligent ne suffira pas », tranche-t-elle.

LA RÉALITÉ DE L'IA POUR LE GRAND PUBLIC : UNE DÉCEPTION GÉNÉRALE

Campbell Brown, dont l'entreprise a levé 3 millions de dollars à l'automne dernier, est en position idéale pour constater le fossé entre l'image que l'industrie technologique donne de l'IA et la réalité vécue par les utilisateurs. « On entend les dirigeants des grandes entreprises dire :