Les modèles d'IA qui voient et mentent : comment les aligner vraiment ?

POURQUOI VOS IA VOIENT-ELLES DOUBLE ?

Les grands modèles de langage (LLM) savent écrire comme des humains, mais quand ils doivent aussi comprendre une image, c’est la catastrophe. Ils inventent des détails qui n’existent pas, comme un élève qui recopie une réponse sans avoir lu la question. Dans les modèles multimodaux (MLLM), ces hallucinations prennent deux formes : soit le modèle raconte des faits faux, soit il invente une réponse qui n’a rien à voir avec ce qu’il voit. Prenons un exemple : si tu montres une photo d’un chat noir à une IA, elle peut répondre « C’est un chien blanc » ou « Le chat a des rayures rouges ».

L'ALIGNEMENT : LA RECETTE POUR RENDRE LES IA PLUS HONNÊTES

Pour corriger ce problème, les chercheurs utilisent une technique appelée alignement des préférences. L’idée est simple : apprendre à l’IA à préférer les bonnes réponses plutôt que les mauvaises. Imagine un prof qui corrige un élève en lui disant « Non, ce n’est pas comme ça que ça marche ». Avec les MLLM, c’est pareil : on donne à l’IA des exemples de réponses correctes et incorrectes, et on lui apprend à choisir les bonnes. Deux méthodes principales existent : DPO (Direct Preference Optimization) et PPO (Proximal Policy Optimization). La première est comme un cours accéléré : on montre à l’IA ce qui est bien et mal, et elle s’adapte vite. La seconde est plus lente : l’IA essaie des réponses, reçoit des feedbacks, et ajuste son comportement petit à petit.

DEUX STRATÉGIES POUR MIEUX APPRENDRE : OFFLINE OU ONLINE

Les chercheurs ont classé les méthodes d’alignement en deux familles. Les méthodes offline (comme DPO) fonctionnent sans interaction en temps réel : on donne à l’IA un jeu de données préenregistré, et elle apprend toute seule. Les méthodes online (comme online-DPO) sont plus dynamiques : l’IA interagit avec son environnement, reçoit des feedbacks immédiats, et ajuste ses réponses en direct. Dans certains cas, combiner les deux approches améliore les résultats. C’est comme si tu apprenais une leçon avec un livre et un prof qui te pose des questions en direct : tu retiens mieux.

LES DONNÉES QUI FONT LA DIFFÉRENCE

Le secret d’un bon alignement, c’est la qualité des données. Plusieurs jeux de données publics existent, mais ils ne sont pas tous égaux. Certains sont trop simples, d’autres trop complexes, et certains contiennent des biais qui faussent l’apprentissage. Par exemple, si un jeu de données montre toujours des chats noirs, l’IA risque de croire que tous les chats sont noirs. Les chercheurs ont donc étudié comment la construction de ces jeux de données influence les performances des MLLM. Leur conclusion : un bon jeu de données doit être varié, précis, et sans biais.

BDHS : UNE NOUVELLE RECETTE POUR CRÉER DES DONNÉES SANS EFFORT

Et si on pouvait créer un jeu de données parfait sans avoir à tout annoter manuellement ? C’est l’idée derrière la méthode Bias-Driven Hallucination Sampling (BDHS). Au lieu de payer des humains pour étiqueter des milliers d’images, BDHS utilise les erreurs des MLLM elles-mêmes pour générer des données d’apprentissage. Comment ? En forçant l’IA à faire des erreurs, puis en utilisant ces erreurs comme exemples de ce qu’il ne faut pas faire. Résultat : pas besoin d’annotations externes, pas besoin de modèles supplémentaires, et des performances comparables aux meilleures méthodes existantes. Sur plusieurs tests, BDHS a atteint des scores similaires aux autres techniques d’alignement, mais avec bien moins de travail.

CLIP : LE GÉNIE QUI NE COMPREND PAS VRAIMENT LES IMAGES

Même les modèles les plus avancés ont des limites. Prenons CLIP, un modèle célèbre pour sa capacité à associer texte et images. Malgré ses performances impressionnantes, CLIP souffre d’un problème majeur : un écart de modalité dans son espace de caractéristiques. En gros, il comprend bien les mots, mais il a du mal à faire le lien entre ce qu’il voit et ce qu’il entend. Imagine un traducteur qui parle parfaitement français et anglais, mais qui mélange les mots quand il doit décrire une image : c’est un peu ça, CLIP. Les MLLM, eux, ont un avantage : ils arrivent à aligner naturellement les informations visuelles et textuelles, même sans entraînement spécifique.

RLHF : APPRENDRE AVEC LES RETOURS DES HUMAINS

L’alignement ne se limite pas aux images. Pour les modèles de langage classiques, une technique appelée RLHF (Reinforcement Learning from Human Feedback) est devenue la norme. L’idée ? Utiliser les retours humains pour améliorer les réponses des IA. Par exemple, si tu demandes à une IA de résumer un article, et qu’elle invente des détails, un humain peut lui dire « Non, ce n’est pas correct ». Avec ces feedbacks, l’IA apprend à éviter les erreurs. Mais attention : la plupart des jeux de données utilisés pour le RLHF sont publics et limités. Résultat, les modèles deviennent bons… mais seulement sur les tâches pour lesquelles ils ont été entraînés. Pour aller plus loin, il faudrait des jeux de données plus variés et adaptés à chaque usage.

LA RECETTE POUR DES IA PLUS FIABLES : VARIÉTÉ ET PRÉCISION

Au final, trois ingrédients sont essentiels pour des MLLM plus fiables : des données variées, des méthodes d’alignement adaptées, et des retours humains ciblés. Les chercheurs montrent que combiner offline et online, utiliser des jeux de données bien construits, et exploiter des techniques comme BDHS peut réduire les hallucinations de moitié. Mais le défi reste immense : chaque image, chaque texte, chaque contexte est différent. La route vers des IA parfaitement alignées est encore longue, mais chaque avancée nous en rapproche un peu plus.