Grabette : l'outil qui va révolutionner l'apprentissage des robots (sans robot.)

LE PROBLÈME : L'IA ROBOTIQUE MANQUE DE DONNÉES

Les robots intelligents existent déjà. Les modèles d'intelligence artificielle comme les transformers ou les modèles de diffusion savent très bien apprendre à manipuler des objets. Mais il leur faut des données, et beaucoup. Or, collecter ces données est un vrai casse-tête : il faut un robot, une téléopération complexe, et des heures de travail. Résultat ? Peu de données, peu de diversité, et des modèles qui ne savent pas faire grand-chose en dehors du labo.

Le vrai goulot d'étranglement n'est pas le modèle, mais les données. On a les architectures de politique (des recettes pour faire apprendre aux robots) et les GPU pour les entraîner. Ce qui manque, ce sont des données réelles, variées et à grande échelle de manipulation d'objets.

LA SOLUTION : ENREGISTRER AVEC SES MAINS, PAS AVEC UN ROBOT

Et si on enregistrait les démonstrations de manipulation. avec nos propres mains ? C'est exactement ce que propose Grabette, un système open source et low-cost pour capturer des tâches de manipulation. Il suffit d'une pince manuelle, d'une caméra, et d'un moyen de suivre le mouvement en 6 dimensions (6-DoF) de ce que fait la main.

Vous n'avez pas besoin d'un robot pour collecter des données robotiques. Juste une main humaine, une pince, une caméra, et un système pour récupérer la trajectoire en 6 dimensions du mouvement. Enregistrez la démonstration, et vous obtenez des données qu'un robot peut apprendre à reproduire.

UNE INSPIRATION : L'INTERFACE UNIVERSELLE DE MANIPULATION (UMI)

Grabette s'inspire directement de l'Universal Manipulation Interface (UMI) de Stanford : une pince manuelle équipée d'une caméra fisheye (grand angle) qui enregistre des démonstrations « en conditions réelles ». L'UMI a prouvé que la recette fonctionne. D'autres dispositifs existent, comme la pince MEgo d'Agibot ou le gant de capture de compétences de Genrobot, mais ils sont souvent fermés et coûteux.

L'objectif de Grabette ? Rendre l'outil aussi simple à utiliser que possible. Baisser la barrière entre « j'ai une tâche à démontrer » et « j'ai un modèle entraîné » au maximum.

DEUX DISPOSITIFS POUR UN MÊME OBJECTIF

Grabette est la version manuelle : une pince instrumentée pour reconstruire une démonstration de manipulation. Elle embarque deux caméras, chacune avec un rôle précis. La caméra fisheye donne au modèle une vue riche du contexte, comme une caméra au poignet. La caméra RGBD (couleur + profondeur) se charge du suivi robuste en 6 dimensions.

Pendant ce temps, son jumeau robotique, Gripette, est une pince robotique qui exécutera les mouvements appris après l'entraînement. Les deux dispositifs fonctionnent main dans la main : Grabette enregistre, Gripette reproduit.

CONSTRUIRE GRABETTE : UNE AFFAIRE DE TOUS

Tout est open source. Les composants ? Des capteurs standards que vous pouvez commander en ligne : un Raspberry Pi, une caméra Pi standard, une caméra OAK-D (profondeur), et des encodeurs magnétiques. Pas de pipeline fermé, pas de verrouillage propriétaire. L'idée ? Que n'importe qui puisse construire son Grabette avec des pièces faciles à trouver.

Grabette est conçu pour être agnostique au robot. Rien dans la capture ou le format des données n'impose un bras robotique spécifique. Les démonstrations sont stockées sous forme de poses cartésiennes locales en 6 dimensions, plus l'état de la pince. Le résultat est un dataset standard compatible avec LeRobot sur le Hugging Face Hub. Les mêmes données peuvent entraîner différents robots et différentes méthodes d'apprentissage.

DE LA MAIN À L'ENSEMBLE DE DONNÉES EN DEUX ÉTAPES

Avec cette version, n'importe qui peut passer de « je veux démontrer une tâche » à « j'ai un dataset prêt à l'entraînement » en quelques minutes, sans expertise préalable.

Appuyez sur le bouton : les données des caméras (observation et suivi), la profondeur, les valeurs des encodeurs de la pince et les données de l'IMU (unité de mesure inertielle) sont enregistrées simultanément, synchronisées par une horloge commune. Appuyez à nouveau pour arrêter l'enregistrement : les données sont sauvegardées sur le Raspberry Pi.

Ouvrez le tableau de bord Grabette dans votre navigateur. Sélectionnez les épisodes à ajouter au dataset, et d'un clic, le post-traitement commence.

QUE FAIRE AVEC CES DONNÉES ? UN EXEMPLE CONCRET

Un dataset n'a d'intérêt que s'il permet d'entraîner quelque chose. Pour montrer que la boucle est complète, les développeurs fournissent un exemple complet d'utilisation des données. Mais attention : cet exemple n'est qu'une démonstration, pas le produit final. Grabette reste avant tout un système d'enregistrement.

L'exemple utilise 200 démonstrations enregistrées, comme celles-ci :

# Exemple de structure de données dans un dataset LeRobot
{
  "episodes": [
    {
      "observations": [
        {"camera": "fisheye", "image": ".", "timestamp": 0.0},
        {"camera": "rgbd", "image": ".", "depth": ".", "timestamp": 0.0},
        {"gripper_state": 0.75, "timestamp": 0.0}
      ],
      "actions": [
        {"gripperposition": [0.1, 0.2, 0.3], "gripperrotation": [0.0, 0.0, 0.0], "gripper_state": 0.75, "timestamp": 0.1}
      ]
    }
  ]
}

ET MAINTENANT ? C'EST À VOUS DE JOUER

Le goulot d'étranglement des données ne se résout pas dans un seul labo, mais grâce à une communauté qui enregistre des démonstrations partout dans le monde. Vous pouvez désormais contribuer : construisez un Grabette, enregistrez des tâches qui vous intéressent, et partagez-les sur le Hub. Chaque épisode rend le dataset ouvert plus grand et plus varié. Chaque contributeur rend l'apprentissage robotique un peu moins dépendant des équipements coûteux.

Le dataset est ouvert, le Matériel est open source, et la communauté est invitée à participer.

LES PROCHAINES ÉTAPES : CASQUETTE ET AU-DELÀ

Cette version n'est qu'un début. Grabette va continuer d'évoluer. Les développeurs prévoient déjà Casquette, un dispositif à porter sur la tête pour des captures égocentriques (en première personne), encore en développement. Mais la prochaine étape la plus importante n'est pas seulement la leur : c'est la vôtre. Commencez à enregistrer, et construisons ensemble le dataset du futur.

POUR ALLER PLUS LOIN : LES RESSOURCES OFFICIELLES

Vous voulez participer ? Voici comment commencer :

• Construisez votre Grabette (GitHub)
• Traitez vos données (Hugging Face Space)
• Contribuez au dataset (Hugging Face Hub)

UNE RÉPONSE À UNE QUESTION FRÉQUENTE

Un utilisateur a signalé que le dépôt électronique lié au matériel n'était pas accessible publiquement. Bonne nouvelle : il est désormais public . Vous pouvez le consulter ici : https://github.com/pollen-robotics/elec_grabette.

POURQUOI CE PROJET CHANGE LA DONNE

Grabette n'est pas juste un nouvel outil. C'est une révolution dans la façon de collecter des données pour les robots. Avant, il fallait un labo, un robot, et des heures de travail. Aujourd'hui, avec une pince à 100 euros, une caméra, et un Raspberry Pi, n'importe qui peut contribuer à l'apprentissage des robots. Et le plus beau ? Les données sont partagées, ouvertes, et réutilisables par tous.

Imaginez un dataset mondial de tâches de manipulation, construit par des milliers de contributeurs. Des tâches de cuisine, de bricolage, de jardinage. Tout ce que les humains savent faire, les robots pourraient l'apprendre. Et ce dataset serait accessible à tous, chercheurs, startups, ou simples passionnés.

L'IMPACT SUR L'APPRENTISSAGE AUTOMATIQUE

Les modèles actuels d'apprentissage par renforcement ou imitation apprennent souvent dans des environnements simulés, contrôlés et peu réalistes. Avec Grabette, les robots pourront s'entraîner sur des données réelles, variées et complexes. Résultat ? Des modèles plus robustes, capables de s'adapter à des situations imprévues.

Par exemple, un robot formé avec des données Grabette pourrait apprendre à attraper un objet fragile, à ouvrir une porte, ou à ranger une étagère. des tâches que les robots actuels maîtrisent mal.

GRIPETTE : LE ROBOT QUI APPREND À REPRODUIRE

Gripette est la pince robotique qui exécute les mouvements appris grâce aux données Grabette. Contrairement à Grabette, qui est manuel, Gripette est un dispositif automatisé, conçu pour être fixé sur un bras robotique. Une fois entraîné, le modèle peut commander Gripette pour reproduire les tâches enregistrées par Grabette.

Le duo Grabette-Gripette permet donc de boucler la boucle : enregistrement humain → entraînement du modèle → exécution robotique.

UN OUTIL POUR LES RECHERCHEURS. ET LES PASSIONNÉS

Grabette n'est pas réservé aux laboratoires. Les makers, les écoles, les startups, ou même les particuliers peuvent l'utiliser pour créer leurs propres datasets. Par exemple :

• Un professeur pourrait enregistrer des démonstrations de manipulation pour ses élèves.
• Un maker pourrait créer un dataset de tâches de bricolage pour entraîner un robot domestique.
• Une startup pourrait accélérer le développement de son prototype en testant des tâches réelles plus rapidement.

LE FUTUR DE LA ROBOTIQUE : UNE COMMUNAUTÉ OUVERTE

Grabette est bien plus qu'un outil. C'est un appel à la collaboration. En ouvrant le matériel, les logiciels et les données, les développeurs veulent accélérer l'innovation en robotique. Plus il y aura de contributeurs, plus les datasets seront riches, et plus les robots deviendront capables.

Le projet s'inscrit dans une tendance plus large : l'open science. En partageant les données et les outils, la communauté peut avancer plus vite que n'importe quel laboratoire isolé.

COMMENT PARTICIPER ? TROIS ÉTAPES SIMPLES

1. Construisez votre Grabette : suivez le guide sur GitHub pour assembler les composants (Raspberry Pi, caméras, encodeurs).

2. Enregistrez vos démonstrations : choisissez une tâche, enregistrez-la avec la pince, et sauvegardez les données.

3. Partagez vos données : envoyez vos épisodes sur le Hugging Face Hub pour enrichir le dataset collaboratif.

C'est aussi simple que ça.

UNE RÉVOLUTION EN MARCHE

Grabette pourrait bien être le déclencheur d'une nouvelle ère pour la robotique. En démocratisant la collecte de données, il permet à chacun de contribuer à l'intelligence des robots. Et plus il y aura de données, plus les modèles seront performants. Le cercle vertueux est en marche.

CONCLUSION : LE DÉBUT D'UNE AVENTURE COLLECTIVE

Grabette est une avancée majeure pour l'apprentissage robotique. Il prouve qu'on peut collecter des données de qualité sans matériel coûteux. Mais le vrai succès de Grabette dépendra de vous : de votre participation, de vos idées, et de vos contributions. Alors, prêt à enregistrer votre première démonstration ?

Le dataset est ouvert, le matériel est open source, et la communauté vous attend.