Ces IA échouent sur les vidéos longues : le vrai problème caché

LVSUM : UN NOUVEAU TEST POUR LES IA QUI REGARDENT DES VIDÉOS

Une équipe de chercheurs vient de lancer LVSum, un benchmark (un test standardisé) pour évaluer comment les intelligences artificielles comprennent les vidéos longues. Leur constat est clair : ces machines, même très performantes, ont du mal à garder en tête l’ordre des événements dans le temps. Imaginez un élève qui lit un roman sans se souvenir de la chronologie des chapitres : c’est un peu ça le problème.

72 VIDÉOS, 13 DOMAINES : UNE BANQUE DE TESTS VARIÉE

Pour créer ce test, les scientifiques ont sélectionné 72 vidéos couvrant 13 domaines différents : des tutoriels de cuisine, des documentaires animaliers, des reportages sportifs… Chaque vidéo est annotée par des humains qui ont produit jusqu’à 10 résumés différents, en précisant à quel moment se produisent les événements. C’est comme si on demandait à 10 personnes de raconter l’histoire d’un film en indiquant à chaque fois à quelle minute se passe chaque scène.

TRANSCRIPTIONS AUDIO VS IMAGES : LE DUEL QUI DÉCHIRE LES IA

Les chercheurs ont comparé deux méthodes pour aider les IA à résumer les vidéos : se baser uniquement sur les images ou utiliser les transcriptions audio. Résultat ? Les transcriptions audio donnent des résumés bien plus pertinents. Pourquoi ? Parce que le son contient souvent des indices temporels (comme « deux minutes plus tard ») ou des noms de personnages, ce que les images seules ne captent pas. C’est un peu comme essayer de raconter un match de football sans entendre les commentaires : on rate les détails clés.

LES IA SONT-ILLES À LA HAUTEUR DES HUMAINS ?

Les tests montrent une énorme différence entre les résumés générés par les machines et ceux écrits par des humains. Les humains arrivent à capturer l’essentiel, à lier les événements entre eux et à respecter la chronologie. Les IA, elles, ont encore du mal à suivre le fil. Trois problèmes majeurs ressortent :

• • Perte de repères temporels : elles oublient l’ordre des événements ou mélangent les moments.
• • Difficulté à suivre les consignes : si on leur demande un résumé de 3 minutes, elles dépassent souvent la limite.
• • Manque de cohérence entre les images et le texte : elles peuvent décrire une scène qui n’a pas lieu au bon moment.

POURQUOI LES IA ONT-ELLES DU MAL AVEC LE TEMPS ?

Les modèles d’IA actuels, même les plus avancés, sont surtout entraînés à reconnaître des objets ou des actions dans des images fixes. Ils n’ont pas été conçus pour comprendre une histoire qui se déroule sur plusieurs minutes. Pire : leurs méthodes d’apprentissage les poussent à repérer des raccourcis visuels (comme un logo ou un visage) plutôt que de suivre une logique temporelle. C’est un peu comme si on apprenait à un enfant à reconnaître des animaux dans un livre sans lui expliquer que ces animaux vivent dans des écosystèmes différents.

DE NOUVEAUX Outils POUR AMÉLIORER LES IA

Face à ces limites, les chercheurs proposent des solutions. D’abord, intégrer des données temporelles dans l’entraînement des IA, comme des horodatages ou des annotations de séquences. Ensuite, utiliser des métriques d’évaluation basées sur l’IA elle-même pour mesurer la pertinence des résumés et la cohérence entre les différents éléments (image, son, texte). Enfin, créer des benchmarks plus exigeants pour pousser les modèles à progresser.

ET DEMAIN ?

Ces travaux ouvrent la voie à des IA capables de comprendre des récits complexes, comme des films, des conférences ou des documentaires. Mais pour l’instant, elles restent limitées. Les chercheurs soulignent que le chemin sera long avant que les machines ne rivalisent avec l’intelligence humaine pour raconter une histoire de manière fluide et précise. En attendant, LVSum reste un outil précieux pour mesurer les progrès et identifier les failles.

D’AUTRES DÉFIS POUR LES IA

Deux autres études récentes mettent en lumière d’autres lacunes des intelligences artificielles. La première, NarrativeTrack, teste leur capacité à comprendre des récits en vidéo, en vérifiant si elles arrivent à identifier qui fait quoi, quand et où. La seconde, sur les vidéos en première personne (comme celles filmées avec une caméra sur la tête), montre que les IA peinent à suivre l’évolution des événements dans le temps. Ces travaux montrent que le problème n’est pas seulement technique, mais aussi conceptuel : les IA doivent apprendre à penser comme des humains pour comprendre le monde.