Les robots ont faim de données… et XDOF sert le festin

Imaginez un monde où les robots cuisinent, nettoient ou même réparent des voitures comme dans les films. Ce monde existe déjà… sur le papier. Mais dans la réalité, les robots sont encore loin d’égaler les performances des modèles de langage comme ceux d’OpenAI. Pourquoi ? Parce qu’ils manquent cruellement de données d’entraînement adaptées.

Contrairement aux intelligences artificielles qui lisent des milliards de textes sur internet, les robots doivent apprendre à interagir avec le monde physique. Or, ce type de données est presque introuvable. Les vidéos YouTube ou les séquences filmées par des travailleurs précaires sur des plateformes comme Amazon Mechanical Turk sont trop imprécises pour servir de base solide. Elles ne capturent pas la réalité des mouvements, des forces ou des textures.

C’est là qu’intervient XDOF, une startup qui sort discrètement de l’ombre après deux ans de Développement. Son pari ? Le prochain goulot d’étranglement de l’IA ne sera ni les puces électroniques ni les algorithmes, mais les données de feedback nécessaires pour apprendre aux robots à évoluer dans notre monde.

UNE NOUVELLE INDUSTRIE QUI GRONDE

XDOF veut construire les pipelines de données, les outils de collecte et les systèmes d’annotation que les laboratoires d’IA et les entreprises de robotique peinent à développer seuls. Pour y parvenir, la startup a levé 70 millions de dollars auprès de fonds d’investissement comme Thrive Capital, Spark Capital, a16z, Lux et WndrCo. Avec une équipe d’une soixantaine de personnes, XDOF travaille déjà avec une vingtaine de clients, dont plusieurs laboratoires d’IA de pointe… qu’elle refuse de nommer.

Philipp Wu, cofondateur et PDG de XDOF, résume l’enjeu : « Toutes les équipes de pointe se lancent dans la robotique. Nous avons vu les conséquences de ceux qui ont pris du retard dans la course aux modèles de langage. Personne ne veut se retrouver dans cette situation où la robotique devient la prochaine frontière, et où tout le monde réalise trop tard qu’il manque les données essentielles. »

LE PROBLÈME QUI A FAIT NAÎTRE XDOF

Ce constat, Philipp Wu l’a vécu de l’intérieur. Pendant son doctorat à l’université de Californie à Berkeley, il travaillait sur des robots capables d’apprendre des compétences à partir de vastes ensembles de données. Sauf que… il n’y avait tout simplement pas assez de données disponibles.

« Nous n’avions pas de grandes bases de données pour travailler », explique-t-il. « C’était un vrai problème de poule et d’œuf : il fallait d’abord collecter les données avant même de pouvoir envisager d’entraîner un modèle de base pour la robotique. »

Avec Fred Shentu, son futur cofondateur et directeur technique, il a développé un projet nommé GELLO, un système de téléopération low-cost permettant à un opérateur humain de contrôler un bras robotisé pour générer des données d’entraînement. « Ce projet est devenu une référence dans le domaine de la robotique, car beaucoup de chercheurs rencontraient les mêmes besoins et blocages. Beaucoup ont commencé à utiliser ce type d’outil pour collecter des données », précise Wu.

DE GELLO À XDOF : LA NAISSANCE D’UN ÉCOSYSTÈME

Repérant l’opportunité, Philipp Wu, Fred Shentu et Nemo Jin, troisième cofondateur et directeur des opérations, lancent XDOF en octobre 2024. Leur objectif ? Créer un écosystème de données pour les entreprises qui veulent développer des modèles de robotique. Mais attention : fournir des données brutes ne suffit pas. XDOF mise aussi sur le nettoyage, l’outillage et l’annotation des données pour créer une boucle de feedback auto-entretenue, indispensable aux entraîneurs de robots.

Pour démarrer, la startup s’associe au laboratoire de recherche en IA de l’université de Berkeley pour publier ce qu’elle présente comme la plus grande collection de données d’entraînement pour robots jamais assemblée : le jeu de données ABC. Ce dernier comprend 130 000 trajectoires de manipulation robotique, 300 heures de simulation et 100 heures d’évaluations. Une telle quantité de données pré-entraînées n’a jamais été accessible au monde académique auparavant.

David McAllister, doctorant à Berkeley et organisateur de la publication, souligne : « Dans les domaines du langage, de la génération d’images et d’autres, nous avons vu que lorsque des modèles et des données sont partagés, la communauté réalise des avancées que personne n’aurait prédites. »

L’équipe a déjà utilisé ces données pour entraîner des robots sur des tâches de benchmark comme plier des t-shirts, aplatir des boîtes ou ranger des AirPods dans leurs étuis.

UNE PYRAMIDE DE DONNÉES POUR TOUS LES NIVEAUX

XDOF structure son approche en trois niveaux dans ce qu’elle appelle une pyramide de données. Le niveau le plus précieux est celui des données de téléopération collectées directement sur le robot déployé. Vient ensuite les données générales recueillies par des robots téléopérés, comme celles produites par GELLO. Enfin, le troisième niveau concerne les données égocentriques – celles collectées par des humains réalisant des tâches quotidiennes, pour lesquelles XDOF prévoit de développer ses propres capteurs portables.

« Le choix de la caméra influence directement la qualité de vos données… et donc les performances de votre algorithme de suivi de main », explique Philipp Wu. « Si vous ne concevez pas le matériel dès le départ avec soin, les données que vous collectez peuvent contenir des problèmes spécifiques que vous n’aviez pas anticipés. »

POURQUOI LES GRANDS LABORATOIRES NE FONT PAS CE TRAVAIL ?

Pour produire ces données, XDOF compte embaucher et former des armées d’opérateurs de téléopération et de collecteurs de données égocentriques à travers le monde. Un modèle de travail intensif qui soulève une question évidente : pourquoi les laboratoires d’IA ne produisent-ils pas eux-mêmes ces données ?

« Il vous faut un entrepôt de centaines de milliers de mètres carrés équipé de centaines de robots », détaille Wu. « Vous devez entretenir ces robots, calibrer leurs paramètres physiques et former correctement les opérateurs. »

Une infrastructure colossale qui exige une concentration, des capitaux et une échelle opérationnelle que la plupart des laboratoires d’IA préfèrent externaliser. C’est précisément le marché sur lequel mise XDOF.

LE NOM XDOF : UNE AMBITION DÉBORDANTE

Le nom XDOF joue avec le terme technique « degrés de liberté », qui désigne le nombre de mouvements indépendants qu’un robot peut effectuer. Votre bras, de l’épaule au poignet, possède sept degrés de liberté. Le dernier robot humanoïde de Figure AI en compte trente. Le « X » dans le nom de la startup symbolise son ambition : « Des degrés de liberté arbitraires, des degrés de liberté illimités », résume Wu.

UNE COURSE CONTRE LA MONTRE

La réouverture du programme robotique d’OpenAI en mai 2026 marque un tournant. Après l’avoir fermé en 2021, le laboratoire reconnaît ainsi que la robotique physique est devenue un enjeu majeur. Mais pour que les robots deviennent vraiment utiles, il faut d’abord résoudre le problème des données. XDOF mise sur ce créneau, avec une équipe déjà opérationnelle et des investisseurs prêts à parier gros.

La question n’est plus de savoir si les robots changeront nos vies, mais quand. Et surtout… à quel prix.