Les modèles de mondes : la prochaine révolution de l'IA est-elle en marche ?

L'ÈRE DES MODÈLES DE MONDES DÉBARQUE

Depuis quelques années, l’intelligence artificielle a surtout brillé par ses grands modèles de langage (LLM). Ces systèmes, comme ceux qui alimentent les chatbots, ont envahi notre quotidien. Pourtant, une nouvelle catégorie d’IA émerge désormais : les modèles de mondes. Contrairement aux LLM qui manipulent le langage, ces Outils visent à reproduire, même approximativement, le monde physique qui nous entoure.

Pour comprendre cette révolution, trois experts ont été interrogés : Vincent Sitzmann du MIT, Anastasis Germanidis de Runway et Ben Mildenhall de World Labs. Leurs travaux montrent une tendance claire : alors que les LLM ont commencé par une interface (le chat) avant de chercher des applications concrètes, les modèles de mondes suivent la démarche inverse. Ils partent de cas d’usage précis — robotique, création d’actifs 3D, simulations scientifiques — avant de définir leurs interfaces futures.

POURQUOI LES MODÈLES DE MONDES SONT-ILS PLUS PUISSANTS QUE LES LLM ?

Les grands modèles de langage excellent dans l’abstraction et la génération de texte, mais ils restent limités par leur manque de compréhension du monde réel. Comme l’explique Fei-Fei Li, pionnière de la vision par ordinateur et cofondatrice de World Labs : « Aujourd’hui, les IA comme les LLM transforment notre accès au savoir abstrait, mais elles restent des maîtres mots dans le noir : éloquentes, mais inexpérimentées, savantes, mais déconnectées. »

Les modèles de mondes, eux, promettent de combler ce fossé. Yann LeCun, ancien responsable scientifique de Meta, va plus loin : « L’idée que les LLM puissent atteindre une intelligence humaine est purement absurde. » Pour lui, ces nouveaux modèles représentent une réponse aux limites fondamentales des systèmes actuels.

Ben Mildenhall, cofondateur de World Labs, précise la différence : un LLM fonctionne en mode « tour par tour ». L’utilisateur pose une question, attend une réponse, puis relance. Un modèle de monde, en revanche, agit en temps réel, comme un environnement interactif. « Vous pouvez interagir avec lui de manière continue, où plusieurs actions se déroulent simultanément », explique-t-il. Imaginez un jeu vidéo où vous contrôlez un personnage : chaque mouvement modifie instantanément l’environnement, sans attente ni délai.

COMMENT FONCTIONNENT CES MODÈLES ? TROIS CRITÈRES CLÉS

Fei-Fei Li a défini trois critères pour distinguer un modèle de monde :

• 1. Cohérence perceptive, géométrique et physique : Le modèle doit générer des mondes où les objets respectent les lois de la physique et où les perspectives sont réalistes.
• 2. Multimodalité : Il doit traiter plusieurs types de données (images, texte, sons) pour recréer un environnement complet.
• 3. Prédiction des états futurs : À partir d’actions de l’utilisateur, il doit anticiper et simuler les conséquences.

Vincent Sitzmann, professeur au MIT, résume leur fonctionnement ainsi : « Un modèle de monde prend une interaction en entrée et simule ce qui se passera ensuite dans un environnement donné. » Runway, une entreprise spécialisée, ajoute : « C’est un système d’IA qui construit une représentation interne d’un environnement et l’utilise pour simuler des événements futurs. »

Pour Ben Mildenhall, la clé réside dans la compréhension spatiale continue. Contrairement aux LLM, qui analysent le langage de manière linéaire, les modèles de mondes doivent capturer la dynamique d’un espace en trois dimensions, où les actions ont des répercussions immédiates.

DES MILLIARDS DE DOLLARS POUR UNE TECHNOLOGIE ENCORE FLoue

L’engouement pour les modèles de mondes est tel que les levées de fonds s’enchaînent. En février et mars 2024, World Labs et AMI ont respectivement levé près d’un milliard de dollars chacun. Runway, une autre entreprise du secteur, a récolté 315 millions de dollars le même mois. Ces investissements colossaux reflètent l’espoir placé dans cette technologie, mais aussi son manque de définition claire.

Le terme « modèle de monde » est en effet surchargé de sens. Il désigne aussi bien la génération de vidéos conditionnées par des actions que la création d’actifs 3D ou l’évaluation de politiques robotiques. Comme le souligne Ben Mildenhall : « Demandez à Runway, à nous, ou à n’importe qui : chacun donnera une définition légèrement différente. »

Pour Vincent Sitzmann, la majorité des gens associent aujourd’hui les modèles de mondes à la génération de pixels, c’est-à-dire à la création de vidéos réalistes à partir d’actions. Runway, par exemple, s’est d’abord fait connaître pour ses outils de génération vidéo avant de pivoter vers les modèles de mondes avec son modèle GWM-1.

DE LA VIDÉO AU MONDE INTERACTIF : UNE ÉVOLUTION LOGIQUE

Les modèles de mondes actuels sont souvent des extensions des technologies de génération vidéo. Anastasis Germanidis, CTO de Runway, explique : « Tout a changé quand nous avons ajouté des contrôles de caméra. Vous pouviez diriger le mouvement de la caméra dans la scène, ce qui donnait l’impression d’explorer un monde plutôt que de créer une vidéo. »

La plupart des modèles de diffusion vidéo génèrent simultanément plusieurs images, en réduisant le bruit de la séquence d’un coup. Ce processus, appelé débruitage, est au cœur des générateurs d’images et de vidéos. Les modèles commencent par une image statique remplie de bruit aléatoire, puis, étape par étape, ils prédisent des versions plus nettes, guidés par les motifs appris pendant l’entraînement, jusqu’à obtenir un résultat final.

Cette méthode a un avantage : elle garantit la cohérence et la qualité, car chaque image est générée en tenant compte des images passées et futures. Idéal pour produire une vidéo de durée fixe, mais inadapté à une simulation ouverte où l’utilisateur doit intervenir en temps réel. Impossible, par exemple, d’ajouter un objet ou de modifier une scène et d’observer immédiatement le résultat.

L’AUTORÉGRESSIVITÉ : LA CLÉ POUR DES MONDES DYNAMIQUES

Pour résoudre ce problème, certains modèles utilisent une approche appelée diffusion autorégressive. Contrairement à la méthode précédente, les images ne sont pas générées en bloc, mais une par une. Germanidis décrit le fonctionnement de GWM-1, le modèle de Runway :

Cette méthode permet une interaction en temps réel, mais elle a un coût : elle est extrêmement gourmande en calculs. Chaque lot d’images nécessite un processus de débruitage complet, et chaque étape doit être suffisamment rapide pour que l’utilisateur perçoive une réponse immédiate à ses actions.

Autre défi : la simulation peut « dériver » et oublier des informations des premières images au fil du temps. Comme l’explique Germanidis : « Si vous êtes dans une pièce, que vous en sortez, puis que vous y revenez, il faut que tous les détails de la pièce soient préservés dans la mémoire du modèle. »

Ces problèmes sont encore loin d’être résolus, même dans les modèles les plus avancés du secteur.

LA LEÇON AMÈRE : L’IA DOIT APPRENDRE PAR ELLE-MÊME

Anastasis Germanidis résume l’approche de Runway : « Notre objectif est que la cohérence 3D et la persistance des états émergent naturellement de l’échelle et de la prédiction des pixels 2D. » Autrement dit, le modèle ne doit pas être guidé par des règles humaines explicites sur la 3D ou la physique. Il doit apprendre ces structures par lui-même, à partir des données.

Cette idée s’inspire de « la leçon amère », un concept popularisé par Richard Sutton, pionnier du renforcement par apprentissage. Dans un essai influent, il montre que les chercheurs ont souvent tendance à intégrer des connaissances humaines préétablies dans les systèmes d’IA, comme des règles de grammaire ou des modèles de la physique. Pourtant, l’histoire prouve que ces approches sont contre-productives. Lorsque la puissance de calcul est devenue accessible, les méthodes basées sur l’apprentissage à grande échelle ont surpassé ces systèmes limités par l’humain.

Les LLM illustrent parfaitement cette leçon : ils ne sont pas programmés avec des règles de grammaire strictes ou une cartographie détaillée de ce qui compte dans leurs données. Ils apprennent eux-mêmes, grâce à des quantités massives de calculs, à interpréter le langage de manière flexible et puissante.

Vincent Sitzmann applique ce principe aux modèles de mondes : « Pendant des milliers d’années, nous avons été fiers d’avoir découvert que le monde est en trois dimensions et que la lumière se reflète pour former des images sur nos caméras. Nous voulons donc que ces algorithmes utilisent ces représentations 3D. Pourtant, la leçon amère suggère que c’est peut-être une erreur. Ce qui compte, c’est le comportement en entrée-sortie. Et pour un comportement donné, la solution que nous imaginons n’est pas forcément la bonne. »

AU-DELÀ DES PIXELS : LES ALTERNATIVES AUX MODÈLES VIDÉO

Tous les modèles de mondes ne se concentrent pas sur la génération de vidéos destinées à un utilisateur humain. Certains visent des simulations pour la robotique ou la recherche, sans produire de visuel final. D’autres intègrent des données 3D explicites, comme des positions, des maillages ou des informations sur la géométrie, à un moment ou à un autre du processus.

Une autre approche, comme celle de Yann LeCun avec le JEPA (Joint Embedding Predictive Architecture), consiste à prédire l’état abstrait d’une scène plutôt que de générer chaque pixel futur. L’idée est d’apprendre les structures essentielles pour la prédiction et la planification, sans gaspiller de ressources à modéliser des détails visuels inutiles. Cette méthode est l’une des alternatives les plus prometteuses aux modèles de diffusion vidéo.

World Labs, par exemple, mise sur des représentations 3D explicites, comme les champs de radiance neuronaux (NeRF) ou les splats gaussiens. Ces techniques permettent de créer des scènes navigables à partir d’images 2D, tout en facilitant l’intégration dans des workflows 3D traditionnels.

LE CAS UNIQUE DE WORLD LABS : CRÉER DES MONDES EN TEMPS RÉEL

World Labs, cofondée par Fei-Fei Li, développe des outils comme Marble, une plateforme où l’utilisateur peut explorer un espace virtuel de la taille d’un jardin de banlieue américaine. L’utilisateur se déplace avec un clavier et une souris, ou exporte la scène en 3D pour l’utiliser ailleurs.

Pourquoi utiliser des NeRF ou des splats gaussiens plutôt que des maillages traditionnels ? Ben Mildenhall explique : « Les maillages primitifs sont un cauchemar à intégrer dans les workflows d’apprentissage machine, car ils ont une topologie discrète explicite. Ils ne sont pas une représentation uniforme. Les NeRF et les splats, en revanche, offrent une approche plus continue. Une partie est partiellement opaque, une autre est transparente. Avec ces systèmes basés sur le volume, il est possible de faire passer des gradients et d’entraîner un modèle. »

Cette approche permet de générer des actifs 3D immédiatement utilisables par des développeurs de jeux, des artistes VFX ou d’autres professionnels. « Produire un actif compatible avec les workflows actuels donne à notre produit un potentiel d’application immédiate », souligne Mildenhall.

LES LIMITES DES REPRÉSENTATIONS 3D : UN MONDE STATIQUE ET RIGIDE

Cependant, cette méthode a un inconvénient majeur : une fois la scène « cuite » (baked), elle devient statique. Rien dans l’environnement n’est vraiment interactif en termes de physique ou de mécanique. Les dynamiques doivent être ajoutées ultérieurement, si elles le sont.

Vincent Sitzmann le confirme : « Une fois l’environnement généré, il est difficile d’y intégrer des éléments mobiles. Les interactions physiques doivent être ajoutées plus tard, avec un autre outil. »

C’est pourquoi World Labs travaille activement sur l’ajout d’une quatrième dimension : le temps. Comme l’admet Mildenhall : « Actuellement, nos outils génèrent des splats gaussiens statiques. L’artefact final lui-même est statique. Nous travaillons très activement à l’intégration de la dimension temporelle. »

RUNWAY : SIMULER DES MONDES EN DIRECT, SANS ATTENTE

L’approche de Runway diffère radicalement. Son modèle, non encore public, fonctionne comme un flux en direct : l’utilisateur envoie des actions en temps réel, et le résultat apparaît instantanément. Contrairement aux autres modèles qui génèrent des mondes statiques, Runway mise sur des environnements dynamiques où les choses se passent, où les actions ont des conséquences visibles immédiatement.

Germanidis explique : « Beaucoup de modèles de mondes actuels se concentrent sur des mondes statiques et sans vie. Nous pensons que simuler correctement le monde implique de générer des environnements dynamiques, où vous pouvez agir et voir les résultats. C’est notre principal différentiateur. »

Lorsqu’on lui montre un environnement généré par Marble, statique et sans interaction, Mildenhall hoche la tête : « C’est vrai, pour l’instant. Nous sortons ces splats gaussiens statiques. L’artefact final est statique. Nous travaillons activement à l’ajout de la quatrième dimension. »

UN SPECTRE DE COMPROMIS : CHOISIR ENTRE PRÉCISION ET INTERACTIVITÉ

Les modèles de mondes se situent sur un spectre, avec des compromis à chaque extrémité. D’un côté, les représentations 3D explicites sont moins flexibles pour encoder des dynamiques complexes, mais elles permettent une navigation en temps réel et à faible coût. De l’autre, les modèles basés sur des images offrent plus de flexibilité, mais peuvent être moins robustes et moins généralisables.

Mildenhall résume : « Plus les représentations sont explicites, moins elles sont capables de capturer des dynamiques complexes. Mais elles sont navigables en temps réel et peu coûteuses. À l’inverse, les modèles purement basés sur des images peuvent faire émerger ces dynamiques, mais ils risquent d’être plus fragiles et moins utiles dans des contextes variés. »

LES DÉFIS TECHNIQUES : CALCUL, MÉMOIRE ET PHYSIQUE

Les modèles de mondes actuels font face à trois défis majeurs :

• La puissance de calcul : Les méthodes autorégressives nécessitent des ressources colossales pour générer des images en temps réel.
• La mémoire et la cohérence : Les modèles doivent conserver les détails d’une scène sur de longues périodes, même après des interactions complexes.
• La physique et les dynamiques : Intégrer des lois physiques réalistes dans des environnements générés reste un défi non résolu.

Germanidis souligne : « Si vous quittez une pièce et y revenez une heure plus tard, le modèle doit se souvenir de chaque détail : la couleur des murs, l’emplacement des meubles, etc. C’est extrêmement difficile à réaliser. »

LES APPLICATIONS CONCRÈTES : ROBOTIQUE, CRÉATION, RECHERCHE

Malgré ces défis, les modèles de mondes ouvrent la voie à des applications révolutionnaires :

• Robotique : Entraîner des robots dans des simulations réalistes avant de les déployer dans le monde réel.
• Création d’actifs 3D : Générer des environnements pour les jeux vidéo, les films ou la réalité virtuelle.
• Recherche scientifique : Simuler des expériences ou des phénomènes physiques complexes.
• Éducation et formation : Créer des mondes interactifs pour l’apprentissage.

Fei-Fei Li voit dans ces modèles un outil capable de transformer des domaines comme le storytelling, la créativité ou la découverte scientifique. « L’intelligence spatiale va révolutionner la façon dont nous interagissons avec les mondes réels et virtuels », affirme-t-elle.

UNE TECHNOLOGIE ENCORE EN CONSTRUCTION

Les modèles de mondes sont loin d’être parfaits. Leurs limites actuelles — calculs prohibitifs, manque de dynamisme, difficultés à intégrer la physique — montrent qu’ils en sont encore à leurs débuts. Pourtant, les investissements massifs et l’engouement des chercheurs suggèrent qu’ils pourraient devenir un pilier de l’IA dans les années à venir.

Comme le résume Vincent Sitzmann : « Ce qui compte, ce n’est pas la représentation que nous imaginons pour le modèle, mais son comportement en entrée-sortie. Les modèles de mondes doivent prouver qu’ils peuvent simuler le monde de manière utile, même s’ils ne le font pas de la manière dont nous l’imaginons. »

ET DEMAIN ? LES MODÈLES DE MONDES VONT-ILS NOUS FAIRE ENTRER DANS UNE NOUVELLE ÈRE ?

Si les modèles de mondes tiennent leurs promesses, ils pourraient bien marquer la fin de l’ère des LLM comme technologie dominante. Leur capacité à simuler des environnements réalistes et interactifs ouvrirait la voie à des applications inimaginables aujourd’hui : robots autonomes, mondes virtuels persistants, ou même des simulations scientifiques précises.

Pourtant, leur succès n’est pas garanti. Les défis techniques sont immenses, et leur utilité réelle reste à prouver. Une chose est sûre : ces modèles représentent l’une des pistes les plus excitantes de la recherche en IA aujourd’hui. Leur évolution sera à suivre de près.