Drones autonomes : l'IA peut-elle vraiment nous espionner ?

DES MODÈLES D'IA QUI COMMANDENT LE MONDE PHYSIQUE

Depuis un an, plusieurs projets de Recherche ont exploré la façon dont les modèles d'IA de pointe interagissent avec le monde réel. Dans Project Vend, des modèles ont géré une petite boutique. Dans Project Fetch, des robots servaient d'intermédiaires entre les modèles numériques et les objets physiques. Les résultats montrent que ces modèles améliorent rapidement leurs capacités : leur aptitude à utiliser des robots du commerce approche désormais celle des agents de codage qui manipulent des outils logiciels.

Cette fois, les chercheurs ont travaillé avec Andon Labs pour évaluer si les modèles d'IA pouvaient piloter un drone afin de localiser et suivre une personne dans un environnement intérieur. Une tâche simple en apparence, mais qui cache une complexité redoutable : contrôler un appareil volant en temps réel, naviguer dans un espace encombré, repérer une cible parmi d'autres, et la suivre sans la perdre de vue.

UN NOUVEAU DÉFI : PILOTER UN DRONE POUR NOUS SUIVRE

Les drones sont des outils polyvalents et accessibles. Utilisés par les agriculteurs pour surveiller les cultures ou par les militaires pour repérer des cibles, ils sont devenus des appareils du quotidien. Comme l'IA, ce sont des technologies à double usage : elles peuvent sauver des vies ou servir à des fins malveillantes. C'est pourquoi il est crucial de comprendre leurs capacités réelles.

Pour répondre à cette question, les chercheurs ont mis au point un benchmark inédit : Drone-Bench. L'objectif ? Tester si les modèles d'IA peuvent contrôler un drone quadricoptère dans un bureau pour localiser et suivre une personne à partir d'une photo de référence. Une mission qui implique plusieurs sous-tâches complexes :

• • Contrôler l'appareil en vol
• • Cartographier et naviguer dans un espace rempli d'obstacles
• • Identifier la cible parmi d'autres personnes
• • Suivre cette personne en temps réel
• • Retrouver la cible si elle sort du champ de vision

Individuellement, chaque tâche a des solutions algorithmiques connues. Mais ce qui est difficile, c'est que l'IA doit comprendre ces défis, identifier les ressources existantes pour les résoudre, adapter ces solutions à sa situation, et exécuter la mission en temps réel. La difficulté réside autant dans chaque tâche que dans leur enchaînement.

DRONE-BENCH : UN TEST RÉVÉLATEUR DE CAPACITÉS

Drone-Bench a été conçu par Andon Labs en collaboration avec Anthropic pour évaluer si les agents d'IA peuvent contrôler un drone pour des tâches de surveillance. Les évaluations ont été menées par Andon Labs, qui n'a pas partagé le benchmark avec Anthropic.

La mission principale — trouver et suivre une personne désignée dans un bureau à l'aide d'un drone — a été décomposée en cinq sous-tâches, toutes nécessaires et suffisantes pour accomplir l'objectif global :

• • Détection : repérer la cible dans une image
• • Suivi : maintenir la cible dans le champ de vision du drone
• • Localisation : estimer la position de la cible dans l'espace
• • Reconstruction : créer une carte 2D de l'environnement
• • Navigation : planifier un chemin pour atteindre la cible

Chaque tâche a été reproduite dans un environnement logiciel pour permettre aux modèles de les exécuter plusieurs fois, bien plus rapidement que dans un environnement physique. Les chercheurs ont aussi établi un niveau de référence de performance en demandant à des équipes humaines-AI de développer des algorithmes pour chaque sous-tâche. Si un modèle atteint ou dépasse ce niveau, on peut en déduire qu'il est capable de contrôler un drone de manière autonome pour accomplir cette tâche de surveillance.

Pour en savoir plus, consultez le post d'Andon Labs sur Drone-Bench.

LES MODÈLES TESTÉS : DES PROGRÈS, MAIS DES LACUNES

Andon Labs a testé 15 modèles issus de trois développeurs : GPT-4o, GPT-4o Nov, o1, o3, Claude Opus 4, Gemini 2.5 Pro, GPT-5, Gemini 3.1 Pro, Opus 4.5, GPT-5.2, Opus 4.7, GPT-5.5, Opus 4.8, Fable 5, et GPT-5.6 Sol. Le constat est clair : les modèles les plus récents réussissent mieux toutes les sous-tâches. Parmi celles-ci, la détection et le suivi sont les plus maîtrisés, tandis que la reconstruction et la localisation posent encore problème.

Le modèle le plus performant, Claude Fable 5, a dépassé le niveau de référence sur toutes les tâches sauf la reconstruction. Lorsqu'il a été testé en conditions réelles sur un drone, il a même surpassé la référence pour la détection et le suivi. Cependant, des erreurs de reconstruction ont compromis sa capacité à naviguer entre les pièces, comme le montre la première partie de la vidéo ci-dessous.

L'incapacité de Fable 5 à reconstruire précisément la pièce est un obstacle majeur. Mais ses performances dans les autres phases montrent qu'il ne manque qu'une pièce au puzzle. Une fois celle-ci en place, les performances globales pourraient s'améliorer rapidement.

LA RECONSTRUCTION 3D : LE MAILLON FAIBLE

La décomposition du benchmark en sous-tâches permet d'éviter les surprises. Ce qui semble être une avancée soudaine n'est en réalité que le résultat d'une progression graduelle dans des domaines nécessaires, mais pas suffisants. Les chercheurs ont remarqué que Fable 5 effectue des analyses locales avant de soumettre ses solutions. Par exemple, il a calculé les extrinsèques de la caméra (la position et l'orientation de la caméra dans l'espace) en analysant une vidéo de simulation. En utilisant les lignes de jointoiement du sol, il a estimé l'inclinaison de la caméra à moins de quatre degrés près.

Dans une autre tentative, Fable 5 a construit une reconstruction 2D en vue de dessus de l'environnement qu'il pensait être celui de la tâche de suivi. Cela lui a permis de tester et d'itérer sur sa solution avant de soumettre son travail.

L'environnement simulé différait de l'environnement réel, mais cela a aidé Fable 5 à repérer des erreurs évidentes.

LA FIABILITÉ : UN DÉFI MAJEUR

Il ne suffit pas de savoir si un modèle peut atteindre le niveau de référence. Il faut aussi savoir s'il le fait de manière fiable et répétée. Sur dix simulations, les modèles atteignent le niveau humain dans au moins une simulation pour quatre des cinq tâches. Mais même Fable 5, le modèle le plus performant, n'atteint ce niveau en moyenne que pour trois des cinq tâches. Cette cohérence n'a été observée qu'après six mois de développement.

Malgré la complexité accrue de cette expérience par rapport aux travaux précédents, et malgré un environnement plus difficile qu'un entrepôt vide, l'expérience présente des limites importantes : les drones se déplaçaient lentement, les tests ont été réalisés dans un seul plan de bureau avec un nombre limité de personnes, et Andon Labs n'a pas testé en extérieur dans des foules. Pourtant, cette expérience pilote donne un signal fort sur la direction des capacités des modèles. Elle fournit des informations précieuses sur les performances et la fiabilité des modèles pour des tâches autonomes de ciblage et de suivi.

UN SIGNAL FORT POUR L'AVENIR

Cette expérience met en lumière le potentiel des matériels du commerce et des logiciels adaptés à l'IA pour accomplir des tâches utiles, mais potentiellement risquées. Elle souligne aussi un parallèle important entre l'utilisation des logiciels par les modèles d'IA dans le codage et leur contrôle du matériel physique.

Au début de l'ère des agents de codage, les humains validaient presque chaque action des modèles. Aujourd'hui, après seulement quelques mois, ces modèles sont de plus en plus fiables pour exécuter des tâches complexes avec une intervention minimale. Cette évolution soulève une question cruciale : à quel moment la supervision humaine devient-elle un coût plutôt qu'une protection ?

Lorsque les modèles atteignent un certain niveau de capacité et de fiabilité, la tentation sera grande de réduire la surveillance humaine. Pourtant, dans des domaines comme celui-ci, où la sécurité physique et la vie privée sont en jeu, l'efficacité ne doit pas être le seul critère. Comme l'a souvent souligné Anthropic, plus les capacités des modèles augmentent, plus il est important d'investir dans l'alignement, la gouvernance et la sécurité de l'IA. La robotique n'échappe pas à cette règle.

LES LIMITES DE L'EXPÉRIENCE : CE QU'IL FAUT RETENIR

Cette expérience a révélé des progrès impressionnants, mais aussi des limites importantes. Les drones volaient lentement, les tests ont été limités à un seul plan de bureau, et les scénarios en extérieur ou dans des foules n'ont pas été explorés. Pourtant, elle offre une première indication sur les capacités réelles des modèles d'IA à contrôler des drones de manière autonome.

Les résultats montrent que les modèles les plus avancés peuvent déjà accomplir certaines tâches mieux que les humains. Mais leur fiabilité reste un défi majeur. La reconstruction 3D et la localisation sont encore des points faibles. Une fois ces obstacles surmontés, les performances globales pourraient s'améliorer rapidement.

CE QUE LES DÉVELOPPEURS DOIVENT SAVOIR

Cette expérience souligne l'importance de tester les modèles dans des environnements réalistes et variés. Les benchmarks comme Drone-Bench permettent de mesurer les progrès et d'identifier les lacunes. Ils sont essentiels pour anticiper les risques et les opportunités liés à l'autonomie des modèles d'IA.

Les développeurs doivent aussi réfléchir aux implications éthiques et légales de ces technologies. Les drones autonomes peuvent sauver des vies, mais ils peuvent aussi être utilisés à des fins malveillantes. Il est crucial de mettre en place des cadres de gouvernance adaptés pour encadrer leur déploiement.

CE QUE LES UTILISATEURS DOIVENT COMPRENDRE

Si vous utilisez ou envisagez d'utiliser des drones autonomes, sachez que l'IA peut déjà accomplir certaines tâches mieux que les humains. Mais attention : ces technologies ne sont pas encore parfaites. Les erreurs de localisation ou de reconstruction peuvent avoir des conséquences graves.

Il est aussi important de se poser des questions sur la vie privée. Qui contrôle ces drones ? Qui a accès aux données qu'ils collectent ? Ces questions doivent être prises au sérieux avant de déployer ces technologies à grande échelle.

L'AVENIR : VERS UNE AUTONOMIE TOTALE ?

Les résultats de cette expérience suggèrent que l'autonomie totale des drones pilotés par l'IA n'est plus une question de science-fiction. Les modèles progressent rapidement, et les obstacles techniques pourraient être surmontés dans un avenir proche.

Cependant, cette autonomie soulève des défis majeurs. Comment garantir la sécurité des personnes ? Comment protéger la vie privée ? Comment éviter les abus ? Ces questions doivent être résolues avant que ces technologies ne deviennent omniprésentes.

Les gouvernements, les développeurs et la société civile devront travailler ensemble pour établir des normes et des cadres de gouvernance efficaces. L'objectif ? Maximiser les bénéfices de ces technologies tout en minimisant les risques.

UNE RÉVOLUTION EN MARCHE

Cette expérience marque une étape importante dans l'histoire de l'IA. Elle montre que les modèles d'IA peuvent déjà accomplir des tâches complexes dans le monde physique. Mais elle rappelle aussi que cette autonomie s'accompagne de responsabilités.

Les progrès sont rapides, mais les défis le sont tout autant. Il est temps de se préparer à un monde où les robots et les drones pilotés par l'IA pourraient devenir une réalité quotidienne.

LES MODÈLES D'IA ET LA ROBOTIQUE : UNE NOUVELLE ÈRE

Cette expérience illustre une tendance plus large : l'IA ne se contente plus de manipuler des données ou de générer du texte. Elle commence à interagir avec le monde physique, à contrôler des machines, et même à piloter des drones. Une nouvelle ère s'ouvre, où les frontières entre le numérique et le réel s'estompent.

Cette évolution pose des questions fondamentales sur l'avenir du travail, de la sécurité, et de la vie privée. Elle rappelle aussi l'importance de l'innovation responsable et de la gouvernance adaptée.

CE QUE LES ENTREPRISES DOIVENT FAIRE MAINTENANT

Si vous êtes une entreprise qui utilise ou envisage d'utiliser des drones autonomes, il est temps de vous préparer. Voici quelques étapes clés :

• • Évaluez les capacités réelles des modèles d'IA que vous utilisez.
• • Mettez en place des protocoles de sécurité pour éviter les erreurs de navigation ou de localisation.
• • Respectez les réglementations en vigueur sur l'utilisation des drones et la protection des données.
• • Impliquez vos équipes dans la réflexion sur les implications éthiques et légales de ces technologies.

L'autonomie des drones pilotés par l'IA est une opportunité, mais aussi un défi. Les entreprises qui sauront anticiper ces changements seront les mieux placées pour en tirer profit.

LES RISQUES : UNE MENACE RÉELLE

Cette expérience a aussi mis en lumière les risques associés à l'autonomie des drones pilotés par l'IA. Une utilisation malveillante de ces technologies pourrait avoir des conséquences graves : surveillance de masse, intrusion dans la vie privée, ou même des attaques physiques.

Il est crucial de prendre ces risques au sérieux et de mettre en place des mesures pour les atténuer. Les gouvernements, les entreprises et la société civile doivent collaborer pour encadrer le déploiement de ces technologies.

LES OPPORTUNITÉS : UN MONDE DE POSSIBILITÉS

Malgré les risques, cette expérience ouvre aussi la porte à des opportunités incroyables. Les drones autonomes pourraient révolutionner de nombreux secteurs :

• • Sauvetage : localiser des victimes dans des zones dangereuses.
• • Agriculture : surveiller les cultures et optimiser les rendements.
• • Logistique : livrer des colis dans des zones difficiles d'accès.
• • Sécurité : surveiller des sites sensibles ou des frontières.

Ces applications pourraient améliorer la qualité de vie de millions de personnes. Mais pour en tirer profit, il faut d'abord surmonter les défis techniques et éthiques.

LA GOUVERNANCE : UNE PRIORITÉ ABSOLUE

Cette expérience rappelle que l'innovation technologique doit aller de pair avec une gouvernance adaptée. Les gouvernements, les entreprises et la société civile doivent travailler ensemble pour établir des normes claires sur l'utilisation des drones autonomes pilotés par l'IA.

Ces normes doivent couvrir la sécurité, la vie privée, l'éthique, et la responsabilité. Elles doivent aussi prévoir des mécanismes pour sanctionner les abus et protéger les citoyens.

LES PROCHAINES ÉTAPES : QUELLE DIRECTION PRENDRE ?

Cette expérience marque un tournant, mais elle n'est qu'un début. Les prochaines étapes pourraient inclure :

• • Des tests en conditions réelles plus poussés, notamment en extérieur et dans des environnements complexes.
• • Le développement de nouveaux benchmarks pour évaluer les capacités des modèles dans des scénarios variés.
• • La mise en place de cadres de gouvernance pour encadrer le déploiement de ces technologies.
• • Une collaboration internationale pour harmoniser les réglementations.

Ces étapes sont essentielles pour garantir que l'autonomie des drones pilotés par l'IA soit une force positive pour la société.

CONCLUSION : PRÊTS POUR L'AUTONOMIE ?

Les résultats de cette expérience sont clairs : l'IA peut déjà contrôler des drones pour des tâches de surveillance. Les progrès sont rapides, mais les défis le sont tout autant. La question n'est plus de savoir si l'IA pourra un jour piloter des drones de manière autonome, mais quand cela se produira.

Les gouvernements, les développeurs, les entreprises et la société civile doivent se préparer à cette nouvelle ère. Il est temps de mettre en place des cadres de gouvernance adaptés, de renforcer la sécurité, et de protéger la vie privée. L'autonomie des drones pilotés par l'IA est une révolution en marche. La vraie question est : sommes-nous prêts ?