L'IA qui devine vos idées rien qu'en regardant des images ?

UNE NOUVELLE TÂCHE POUR LES MODÈLES VISION-LANGAGE

Les modèles vision-langage (VLM) savent aujourd’hui suivre des instructions textuelles complexes. Pourtant, ils peinent à raisonner à partir d’un contexte uniquement visuel. Imaginez un élève qui lit un texte sans jamais regarder les images : c’est un peu ce que font ces modèles. Pour combler ce manque, des chercheurs ont créé une nouvelle tâche appelée Visual Concept Inference from Sets (VICIS). Son but ? Évaluer si une IA peut deviner un concept visuel partagé par plusieurs images et l’appliquer à une nouvelle image. Par exemple, si on montre à l’IA trois photos de chats noirs, peut-elle reconnaître que le concept « chat noir » doit être appliqué à une quatrième photo ?

LE DÉFI : COMPRENDRE UN CONCEPT À PARTIR D’EXEMPLES

Les modèles actuels échouent souvent sur cette tâche. Ils ignorent le contexte visuel ou génèrent des images biaisées. Prenons un cas concret : si on donne à une IA trois photos de voitures rouges et une photo d’une voiture bleue, elle aura du mal à comprendre que le concept à retenir est « couleur rouge », et non « forme de voiture ». Les chercheurs soulignent que ces modèles ont tendance à se focaliser sur des détails superficiels plutôt que sur l’idée principale.

UNE NOUVELLE ARCHITECTURE POUR RÉSOUDRE LE PROBLÈME

Pour répondre à ce défi, les chercheurs proposent une nouvelle architecture et un cadre d’entraînement. Leur approche repose sur deux idées clés : d’abord, inférer un concept visuel à partir d’un ensemble d’images, puis extraire des embeddings spécifiques au concept (des représentations numériques qui capturent l’idée principale) à partir d’une image de requête. En termes simples, l’IA apprend à « résumer » une idée visuelle en quelques chiffres, comme si elle créait une fiche d’identité du concept. Ensuite, elle applique cette fiche à une nouvelle image pour vérifier si le concept y est présent.

DES RÉSULTATS PROMETTEURS SUR DES DONNÉES SYNTHÉTIQUES ET RÉELLES

Les tests menés par les chercheurs montrent que leur modèle génère des résultats plus précis et variés que les modèles existants. Ils ont testé leur approche sur deux types de données : des données synthétiques (créées artificiellement pour l’entraînement) et des données réelles issues de ImageNet et WordNet. Les résultats sont encourageants : l’IA arrive à généraliser à des concepts qu’elle n’a jamais vus auparavant, et même à des modalités comme les croquis ou les dessins.

L’EXPERTISE CACHÉE DANS LES MODÈLES TRANSFORMER

Dans une autre partie de leur Recherche, les scientifiques étudient la présence d’unités expertes dans les modèles Transformer pré-entraînés. Ces unités expertes sont des neurones capables de classifier un concept avec une grande précision. Pour les identifier, les chercheurs utilisent un jeu de données appelé OneSec, qui contient 1 641 concepts représentés par des phrases. Chaque concept est associé à une série de phrases qui le mentionnent ou non. L’objectif est de repérer les neurones qui activent une réponse forte quand un concept est présent dans une phrase.

SYNTHÉTIQUE VS RÉALISTE : LE DÉFI DES DONNÉES D’ENTRAÎNEMENT

La plupart des modèles de deep learning performants aujourd’hui sont entraînés avec des données supervisées. Problème : créer des jeux de données de qualité coûte cher en temps et en argent. Les chercheurs explorent une alternative : utiliser des images synthétiques générées par un simulateur. Ces images sont peu coûteuses car elles ne nécessitent pas d’annotation manuelle. En revanche, leur réalisme est souvent limité, ce qui peut nuire à la généralisation des modèles sur des images réelles. Pour résoudre ce problème, les chercheurs ont développé une méthode pour affiner les images synthétiques et les rendre plus réalistes. Les résultats montrent que l’entraînement sur ces images affinées améliore significativement la précision des modèles sur diverses tâches d’apprentissage automatique.

UN PAS DE PLUS VERS L’INTELLIGENCE ARTIFICIELLE GÉNÉRALE

Cette recherche marque une avancée majeure dans le domaine de l’intelligence artificielle. En permettant aux modèles de mieux comprendre les concepts visuels à partir d’exemples, elle ouvre la voie à des applications plus avancées. Imaginez une IA capable de reconnaître une émotion sur un visage rien qu’en voyant quelques exemples, ou de comprendre un style artistique à partir de quelques œuvres. Les chercheurs soulignent que leur travail est un pas de plus vers une intelligence artificielle plus flexible et adaptable, capable de raisonner à partir de contextes variés.