NVIDIA révolutionne la chirurgie robotique : un simulateur IA en temps réel pour sauver des vies

Imaginez un robot chirurgical qui apprend à opérer sans jamais risquer de blesser un patient. Plus besoin de gaspiller des heures en laboratoire, ni de casser des instruments à 100 000 euros. Grâce à Cosmos-H-Dreams, NVIDIA vient de franchir un cap historique : un simulateur génératif en temps réel, capable de recréer une salle d’opération avec une précision diabolique, et ce, sur une simple carte graphique.

LA CHIRURGIE ROBOTIQUE ENTRE DANS UNE NOUVELLE ÈRE

Jusqu’ici, entraîner un robot à opérer ressemblait à un parcours du combattant. Les plateformes physiques coûtent une fortune à faire fonctionner, les expériences sont longues à reproduire, et une seule erreur peut détruire du Matériel ou des tissus biologiques. Les simulateurs classiques existent, mais ils sont incapables de modéliser correctement des scènes chirurgicales : les tissus qui se déforment, les instruments qui glissent, les surfaces brillantes, les sutures, les aiguilles, la fumée, les obstacles… Tout cela, les anciens logiciels le géraient mal, voire pas du tout.

C’est là que les modèles de fondation du monde entrent en jeu. Au lieu de passer des mois à coder manuellement chaque objet et chaque interaction physique, ces modèles apprennent directement les dynamiques visuelles à partir de vidéos synchronisées avec les mouvements des robots. NVIDIA avait déjà fait un premier pas avec Cosmos-H-Surgical-Simulator, capable de générer des vidéos chirurgicales futures à partir d’une scène initiale et d’une séquence d’actions robotiques. Mais aujourd’hui, l’entreprise va encore plus loin.

COSMOS-H-DREAMS : LE PREMIER SIMULATEUR GÉNÉRATIF EN TEMPS RÉEL

Avec Cosmos-H-Dreams, NVIDIA transforme un modèle d’action-conditionné en un environnement interactif fonctionnant en temps réel. Le système distille les capacités de Cosmos-H-Surgical-Simulator dans un modèle étudiant causal, capable de générer des scènes de manière autoregressive. Résultat : un robot ou un humain peut interagir avec ce simulateur en boucle fermée, comme s’il était dans une vraie salle d’opération.

Le tout tourne sur une seule NVIDIA RTX PRO 6000, une carte graphique haut de gamme. Et le plus fou ? Le simulateur atteint une vitesse de 160 images par seconde, contre seulement 10 images par seconde pour son prédécesseur.

COMMENT FONCTIONNE CE MAGICIEN DE LA SIMULATION ?

Tout commence avec Cosmos-H-Surgical-Simulator, un modèle de fondation conditionné par l’action, construit sur Cosmos-Predict2.5-2B et entraîné sur le jeu de données Open-H-Embodiment. Donnez-lui une image de contexte chirurgical et une trajectoire future de robot, et il génère une vidéo montrant les conséquences visuelles probables de ces actions. Utile pour évaluer des politiques ou générer des données synthétiques.

Cosmos-H-Dreams pousse le concept encore plus loin. À partir des connaissances acquises par Cosmos-H-Surgical-Simulator sur plusieurs types de robots chirurgicaux, NVIDIA spécialise le modèle pour le da Vinci Research Kit (dVRK), un robot de suture sur table. Le modèle est ensuite distillé en un étudiant causal qui génère des scènes de manière autoregressive. Il reçoit une image RGB initiale et un flux en direct des kinématiques du robot, puis produit le prochain bloc d’images avant de passer à l’action suivante.

La polyvalence de Cosmos-H-Dreams a été démontrée en collaboration avec CMR Surgical et Cambridge Consultants. Le simulateur a été intégré au Versius surgeon controller, permettant une opération en temps réel sur la plateforme Versius.

LA RECETTE SECRÈTE : DISTILLATION ET AUTO-RÉGRESSION

Le défi principal ? Conserver les dynamiques chirurgicales utiles tout en réduisant le coût de génération. Pour y parvenir, NVIDIA utilise une pipeline d’entraînement professeur-étudiant conçue pour des séquences autoregressives longues.

Le professeur commence avec le modèle pré-entraîné de Cosmos-H-Surgical-Simulator, qui utilise une représentation d’action unifiée de 44 dimensions. Pour le modèle dVRK, les actions des deux bras (translation, rotation, état de la pince) sont converties dans ce format commun.

Le professeur est ensuite affiné sur un mélange de démonstrations réussies et d’épisodes ratés (chutes d’aiguilles, lancers manqués, nœuds ratés) issues de la base JHU dVRK tabletop. Ces échecs sont cruciaux : un simulateur destiné à évaluer des politiques doit reproduire les conséquences des mauvaises actions, pas seulement des démonstrations parfaites.

Pour améliorer la stabilité lors des longues séquences, l’entraînement du professeur augmente progressivement l’horizon temporel, passant de 12 images à 72 images. À chaque augmentation, le modèle est réinitialisé avec les poids pré-entraînés.

L’étudiant causal est ensuite initialisé à partir du professeur et entraîné pour imiter des trajectoires pré-calculées et mises en cache. Cette phase d’échauffement apprend à l’étudiant à fonctionner avec une attention causale et un cache clé/valeur en streaming avant qu’il n’apprenne à partir de sa propre histoire générée.

Le modèle final supporte la diffusion en quelques étapes, avec seulement deux étapes de débruitage par image latente, contre plusieurs dizaines pour le professeur complet. Il combine les connaissances chirurgicales du professeur avec la structure causale nécessaire pour le streaming.

Pour résoudre ce problème, NVIDIA utilise la distillation par auto-contrainte. Pendant l’entraînement, l’étudiant avance en utilisant son propre contexte généré. Une supervision de correspondance de distribution, fournie par le professeur figé, guide ces séquences autoregressives vers des vidéos chirurgicales réalistes. Cela prépare l’étudiant aux mêmes conditions qu’il rencontrera lors de l’inférence interactive.

FLASHDREAMS : LE MOTEUR D’INFÉRENCE ULTRA-RAPIDE

La distillation n’est qu’une partie de l’histoire du temps réel. Cosmos-H-Dreams est servi via FlashDreams, une bibliothèque d’inférence accélérée pour les modèles autoregressifs de monde et de vidéo.

FlashDreams transforme l’étudiant distillé en un système de streaming à faible latence grâce à plusieurs optimisations complémentaires : cache KV en streaming, capture de graphiques CUDA, compilation de modèle…

Ensemble, ces techniques permettent de passer d’un régime d’environ 10 images par seconde pour l’inférence standard de Cosmos-H-Surgical-Simulator à une opération interactive (~160 images par seconde) sur une seule NVIDIA RTX PRO 6000.

Cosmos-H-Dreams fournit aussi les interfaces humain-machine qui transforment la génération en interaction. Un client navigateur peut envoyer des commandes clavier et recevoir des images générées via WebRTC. Un client Meta Quest peut mapper les mouvements du contrôleur suivi en actions robotiques et afficher la scène synthétisée via WebXR. Le même modèle peut aussi être connecté à une politique chirurgicale apprise, avec des observations générées et des actions prédites échangées en boucle fermée.

ADAPTER LE SIMULATEUR À VOS PROPRES DONNÉES

Bien que Cosmos-H-Dreams inclue un point de contrôle pré-entraîné pour la suture sur table, le système est conçu pour être extensible à votre propre embodiment. Pour entraîner un modèle étudiant en temps réel sur votre propre jeu de données, NVIDIA fournit une recette complète pour l’affinage du professeur et la distillation par auto-contrainte dans un guide étape par étape.

LES PROCHAINES ÉTAPES : VERS UNE IA CHIRURGICALE EN BOUCLE FERMÉE

Cosmos-H-Dreams ouvre une nouvelle frontière pour la simulation chirurgicale : des environnements appris à partir de données robotiques réelles, suffisamment réactifs pour être habités.

L’étape suivante immédiate est d’évaluer bien plus que la qualité visuelle. Un simulateur chirurgical utile doit répondre correctement aux actions, préserver la structure des instruments et de la scène sur de longues séquences, et supporter des conclusions transférables au robot physique. Cela motive une nouvelle famille de benchmarks en boucle fermée : précision de position et d’orientation de l’extrémité de l’outil, fidélité du cycle de la pince, stabilité à vide, diversité des actions contrefactuelles, dérive à long terme, et accord entre les résultats simulés et réels des politiques.

Les modèles de monde en temps réel peuvent aussi devenir des partenaires actifs dans le développement de politiques chirurgicales. Ils peuvent générer des échecs rares à la demande, fournir des environnements évolutifs pour l’apprentissage par renforcement ou par imitation, et permettre une évaluation rapide de nouvelles politiques sans lier chaque expérience au matériel robotique rare et coûteux.

À plus long terme, la simulation en temps réel ouvre la voie à des applications en aval comme la télésurgery sensible à la latence, où le modèle de monde aide à maintenir un affichage plus stable, ou la répétition chirurgicale interactive, la planification de procédures et le support décisionnel peropératoire.

Cosmos-H-Dreams est une plateforme de recherche et développement, pas un système de diagnostic, un remplacement de l’imagerie peropératoire ou un contrôleur pour un robot chirurgical physique. Pourtant, il fournit une base pour explorer ces possibilités en toute sécurité.

À mesure que la fidélité des modèles, la stabilité temporelle et l’efficacité matérielle s’améliorent, la simulation générative en temps réel peut aider à connecter l’éducation des chirurgiens, la génération de données synthétiques, l’entraînement des politiques et l’évaluation des politiques au sein d’un même environnement d’IA physique partagé.

COMMENT COMMENCER DÈS AUJOURD’HUI ?

Explorez les modèles, les données et le runtime derrière Cosmos-H-Dreams :

Cosmos-H-Dreams intègre la modélisation du monde conditionnée par l’action dans la boucle en temps réel, créant un nouvel environnement où humains et politiques peuvent s’entraîner, explorer, générer des données et évaluer ce qui se passe ensuite.

LES MODÈLES ET DONNÉES MENTIONNÉS DANS CET ARTICLE

Modèles mentionnés : 3

Jeux de données mentionnés : 1