L'IA qui code des robots : la fin des ingénieurs surhumains ?

UN BRAS ROBOTIQUE PILOTÉ PAR UNE IA RÉUSSIT L'IMPOSSIBLE

J’ai donné à mon agent OpenClaw un vrai bras robotique à manipuler. Les résultats ont presque fait exploser mon propre réseau de neurones. L’IA a réussi à configurer le bras, à l’utiliser pour voir et attraper lentement des objets, et même à entraîner un autre modèle d’IA pour ramasser et placer des objets précis. Certains pensent encore que l’intelligence générale artificielle (AGI) est à des années de nous. Mais ces performances donnent à réfléchir.

POURQUOI LES ROBOTS DEVIENNENT FACILES À PROGRAMMER

Autrefois, entraîner et contrôler un robot demandait des compétences poussées en ingénierie. Aujourd’hui, les modèles d’IA générative rendent cette tâche presque accessible à tous. Ken Goldberg, roboticien à l’université de Californie à Berkeley, explore cette approche depuis plusieurs années. Il explique que l’IA générative pourrait révolutionner la robotique en combinant fiabilité et généralisation.

UN BRAS ROBOTIQUE À PORTÉE DE TOUS : LE LEROBOT 101

J’ai acheté un bras robotique préassemblé appelé LeRobot 101. Il fait partie d’un projet open source de Hugging Face qui permet de construire et d’expérimenter avec des robots à moindre coût. Le kit comprend deux bras : un bras contrôleur actionné par une poignée et une gâchette, et un bras suiveur équipé d’une caméra qui reproduit les mouvements du premier. En téléopérant le bras contrôleur, on peut entraîner un modèle d’IA à apprendre à déplacer le bras suiveur en fonction de ce qu’il voit.

L’IA GÉNÉRATIVE RÉSOUT LES PROBLÈMES DE CONNEXION

Avant d’utiliser OpenClaw, j’ai passé plusieurs heures à essayer de connecter et calibrer le robot. À un moment, j’ai failli griller les moteurs en appliquant les mauvais paramètres, ce qui a provoqué une surchauffe. Puis, avec l’aide de OpenClaw et de Codex, j’ai réussi à coder un programme simple en quelques minutes : le robot fermait sa pince lorsqu’il détectait une balle rouge. Dans le terminal, Codex a géré la configuration complexe des connexions avec le robot. Ensuite, avec mon aide, il a calibré les positions de ses articulations. Il a aussi écrit un script Python utilisant plusieurs bibliothèques pour identifier et saisir la balle en question.

L’IA APPREND À ATTRAPER DES OBJETS TOUT SEULE

Le résultat est impressionnant, mais pas encore digne de Terminator. J’ai ensuite demandé à OpenClaw de m’aider à entraîner un modèle pour contrôler le bras. Nous avons testé plusieurs approches, et OpenClaw a guidé le processus en vérifiant le taux d’erreur du modèle après chaque session d’entraînement. Finalement, le bras robotique a réussi à attraper des objets tout seul.

LE « CODE AS POLICY » : LA NOUVELLE RÈGLE D’OR DE LA ROBOTIQUE

L’idée que l’IA générative pourrait offrir une nouvelle façon puissante de construire des robots a été mise en avant dans un article de recherche de 2022. Cette approche, appelée code as policy, consiste à utiliser du code généré par une IA pour contrôler un robot. Depuis, les compétences en codage de l’IA ont progressé à une vitesse folle, et cette méthode a gagné en popularité dans de nombreux laboratoires.

UN NOUVEAU TEST POUR MESURER LES CAPACITÉS DES MODÈLES

L’équipe de Ken Goldberg, en collaboration avec des chercheurs de Nvidia, de l’université Carnegie Mellon et de Stanford, a développé un nouveau benchmark appelé CaP-X pour évaluer les capacités des modèles à programmer des robots. Le benchmark révèle que le meilleur modèle pour programmer des robots n’est ni Claude ni ChatGPT, mais Gemini. Google DeepMind aurait concentré ses efforts sur l’entraînement de ses modèles pour qu’ils comprennent le monde physique et deviennent multimodaux.

UNE RÉVOLUTION DANS LA ROBOTIQUE

L’équipe de Ken Goldberg collabore avec Nvidia pour explorer le potentiel du code as policy. J’ai échangé avec Spencer Huang, impliqué dans l’organisation d’hackathons chez Nvidia pour tester le vibe-coding sur des robots. Il travaille actuellement sur un projet de recherche avec Goldberg pour rendre l’approche code as policy compatible avec davantage d’outils logiciels robotiques.

LA ROBOTIQUE POUR TOUS : LE SAINT-GRAAL

Selon Spencer Huang, « presque tout le monde peut se lancer dans la robotique ». Rendre possible le contrôle des robots par des commandes vocales, textuelles ou par démonstration est « la clé critique pour une adoption massive des robots dans la société ». Cette avancée pourrait bien marquer le début d’une ère où programmer un robot ne sera plus réservé aux experts.