Des satellites à l'IA : comment l'IA voit la planète en temps réel

UNE NOUVELLE ÈRE POUR L'OBSERVATION DE LA TERRE

Imaginez un outil capable de surveiller la planète entière comme un médecin ausculte un patient : repérant les moindres signes de danger avant qu'ils ne deviennent critiques. C'est exactement ce que permet OlmoEarth, une plateforme d'intelligence artificielle développée par l'institut AllenAI. Cette technologie ne se contente pas d'analyser des images satellites, elle les transforme en cartes intelligentes pour aider les gouvernements, les organisations environnementales et les scientifiques à prendre des décisions éclairées. Déjà utilisée pour suivre la déforestation, évaluer la sécurité alimentaire ou anticiper les risques d'incendie, OlmoEarth représente une avancée majeure dans la gestion des crises environnementales.

DES MODÈLES D'IA ENTRAÎNÉS SUR DES MILLIERS DE TÉRAOCTETS

Au cœur de cette innovation se trouvent les modèles de fondation OlmoEarth, une famille de modèles d'IA spécialisés dans l'observation de la Terre. Ces modèles sont entraînés sur environ 10 téraoctets de données satellites multimodales, c'est-à-dire des images provenant de différents types de capteurs (optique, radar, infrarouge) et couvrant de vastes zones géographiques. Contrairement aux modèles classiques qui traitent quelques mégaoctets de données en moins d'une seconde, comme un chatbot analysant un paragraphe ou une IA reconnaissant un visage sur une photo, OlmoEarth fonctionne à une échelle bien plus grande : un seul ajustement fin pour optimiser ses performances peut nécessiter le déplacement de téraoctets de données et s'exécuter pendant des heures. Chaque pixel de ces images doit être aligné avec une précision extrême, comme si l'on superposait des feuilles de papier calque sans le moindre décalage.

POURQUOI L'INFÉRENCE SUR LES DONNÉES SATELLITES EST SI COMPLIQUÉE

Travailler avec des images satellites, c'est comme essayer de reconstituer un puzzle géant où chaque pièce provient d'un appareil différent, avec des tailles, des formes et des couleurs variables. Les défis sont nombreux : les images peuvent provenir de plusieurs fournisseurs, chacun utilisant des projections cartographiques et des résolutions différentes. Certaines zones peuvent être masquées par des nuages, tandis que d'autres manquent de données. Pire encore, les images doivent être combinées pour former une carte cohérente, comme assembler les morceaux d'un puzzle sans laisser de vide ni de chevauchement. Même l'acquisition des données représente un défi de taille : souvent, le téléchargement et la préparation des images prennent plus de temps que l'exécution du modèle lui-même. C'est pourquoi des pipelines de données efficaces sont essentiels pour traiter ces volumes colossaux.

UNE ARCHITECTURE HARDWARE OPTIMISÉE POUR LA PERFORMANCE

Pour éviter de gaspiller les ressources les plus coûteuses, la plateforme OlmoEarth divise chaque tâche en trois étapes distinctes, chacune étant assignée à un type de Matériel adapté :

1. L'acquisition et la préparation des données : cette étape, souvent la plus longue, est confiée à des processeurs classiques (CPU) plutôt qu'aux GPU, bien plus chers et spécialisés dans le calcul intensif. Les données sont téléchargées depuis le cloud, reprojetées et rééchantillonnées pour être compatibles avec le modèle.

2. L'inférence du modèle : une fois les données prêtes, elles sont envoyées vers les GPU qui exécutent les calculs d'IA proprement dits. Ces GPU sont constamment alimentés par des chargeurs de données multi-processus, garantissant qu'ils ne restent jamais inactifs.

3. Le stockage et l'assemblage des résultats : les prédictions générées par le modèle sont directement envoyées vers un stockage cloud, où elles sont assemblées pour former des cartes géographiquement cohérentes. Les résultats sont ensuite mis à disposition pour analyse ou visualisation.

Cette répartition permet d'utiliser pleinement les ressources disponibles tout en minimisant les coûts. Par exemple, lors de la génération d'une carte des risques d'incendie couvrant l'Amérique du Nord, la plateforme a utilisé simultanément environ 19 600 CPU et 994 GPU, avec un débit réseau dépassant 168 Go par seconde.

UNE EXÉCUTION À GRANDE ÉCHELLE : LA MAGIE DE LA PARALLÉLISATION

La plateforme OlmoEarth utilise un système nommé OlmoEarth Run, une couche d'exécution spécialement conçue pour les tâches d'inférence à grande échelle. Chaque zone géographique à analyser est divisée en partitions gérables par des instances de calcul individuelles, appelées workers. Ces partitions sont ensuite subdivisées en fenêtres plus petites, chacune traitée indépendamment par les modèles OlmoEarth. Cette approche permet de paralléliser le travail : une partie de la carte n'a pas besoin d'attendre qu'une autre soit terminée pour commencer son traitement. Par exemple, une zone de la taille d'un État américain peut être divisée en une centaine de partitions, tandis qu'une zone continentale peut en nécessiter des milliers. Les partitions adjacentes se chevauchent légèrement pour éviter les trous dans les résultats finaux, comme des tuiles de carrelage qui se superposent légèrement pour former un motif sans faille.

Cette indépendance des partitions permet d'exécuter la même étape sur des milliers d'instances de calcul simultanément. La flexibilité est totale : le nombre de workers peut être ajusté en fonction des quotas cloud disponibles, de la résolution souhaitée (plus elle est élevée, plus les données et le calcul sont importants), de la taille du modèle (plus il est grand, plus il est précis mais coûteux en GPU), ou encore de la mise en cache des images brutes (pour accélérer les répétitions sur la même zone). Chaque paramètre dépend de la tâche à accomplir et du budget disponible.

TROUVER ET RÉCUPÉRER LES BONNES IMAGES : UN DÉFI DE TAILLE

Avant même de lancer une analyse, la plateforme doit identifier quelles images satellites utiliser. Cela implique de rechercher, parmi des milliers de scènes disponibles, celles qui correspondent à la zone géographique et à la période demandées. Les critères de sélection varient selon les sources : pour les images optiques comme celles du satellite Sentinel-2, on privilégie les scènes les moins nuageuses possibles, tandis que pour les radars à synthèse d'ouverture (comme Sentinel-1), ce sont les canaux de polarisation disponibles qui comptent le plus.

Pour simplifier ce processus, OlmoEarth s'appuie sur des catalogues STAC publics et des standards ouverts. Cependant, une grande tâche d'inférence peut générer des milliers de requêtes de métadonnées en même temps, bien plus que ce que les API externes comme celles de l'ESA ou de Microsoft Planetary Computer sont conçues pour gérer simultanément. Pour éviter de surcharger ces services, la plateforme maintient son propre index de métadonnées, mis à jour en temps réel au fur et à mesure que de nouvelles images sont publiées. Pour les jeux de données hébergés sur AWS Open Data, des notifications en temps réel sont reçues dès qu'une nouvelle scène est disponible. Lorsque les fournisseurs ne proposent pas de flux de notifications, l'index est actualisé toutes les quelques minutes par des requêtes régulières.

Chaque entrée de l'index stocke non seulement les métadonnées des scènes, mais aussi des pointeurs vers chaque emplacement où les pixels sous-jacents sont disponibles. Au moment de l'exécution, la plateforme sélectionne la meilleure source et effectue des lectures par fenêtres sur des formats optimisés pour le cloud, comme COG ou Zarr. Elle ne récupère que les octets nécessaires pour une partition donnée, plutôt que de télécharger des scènes entières. Cette méthode évite de surcharger les serveurs et réduit considérablement le temps de traitement.

Cet index sert également d'outil d'annotation. Grâce à lui, la plateforme peut servir des tuiles à partir de n'importe quelle scène indexée (Sentinel-1, Sentinel-2, Landsat ou NISAR) via le même système de lecture par fenêtres, sans avoir besoin de construire un pipeline d'ingestion séparé.

Les fournisseurs qui facilitent le plus ce workflow partagent trois caractéristiques que l'équipe d'OlmoEarth recommande comme bonnes pratiques pour publier des données d'observation de la Terre :

• Des notifications basées sur une file d'attente lorsque de nouvelles images deviennent disponibles ;
• Un stockage sur les principales plateformes cloud, sans limites de débit personnalisées ni goulots d'étranglement de disponibilité ;
• Des formats optimisés pour le cloud qui prennent en charge les lectures par plages (ranged reads).

GÉRER LES ÉCHECS À GRANDE ÉCHELLE : UNE PLATEFORME AUTONOME

À cette échelle, les échecs sont inévitables : un fournisseur peut être lent ou temporairement indisponible, une bande spectrale ou une fenêtre de données peut manquer, la couverture nuageuse peut rendre une scène inutilisable, ou une tâche peut planter purement et simplement. La plateforme OlmoEarth est conçue pour récupérer automatiquement de ces échecs grâce à plusieurs mécanismes :

Pour chaque tâche au sein d'une étape et d'une partition géographique, la plateforme provisionne dynamiquement une machine virtuelle exécutant un conteneur Docker spécifique. Ce conteneur, appelé runner, récupère les paramètres de la tâche, exécute le travail, renvoie le résultat et s'arrête. Chaque tâche est conçue pour être réentrante (elle peut être reprise sans problème) et idempotente (elle produit le même résultat si elle est exécutée plusieurs fois). Cela permet de relancer en toute sécurité les tâches en cas d'échec intermittent.

La plateforme suit chaque tâche en temps réel, relance automatiquement les tâches échouées, bascule vers des fournisseurs alternatifs si nécessaire, et distingue clairement les erreurs retryables (répétables) des erreurs fatales (irréversibles). Un processus de surveillance dédié détecte les runners qui se bloquent ou s'arrêtent et relance leurs tâches. Grâce à cette résilience, la plateforme garantit que les résultats sont toujours disponibles, même dans des conditions difficiles.

LES DÉFIS TECHNIQUES QUI ONT FAIT LA DIFFÉRENCE

Construire une plateforme capable de traiter des données à l'échelle planétaire n'a pas été une mince affaire. Les équipes d'AllenAI ont dû surmonter plusieurs défis techniques majeurs, qui sont probablement similaires à ceux rencontrés par d'autres systèmes géospatiaux à grande échelle :

1. L'alignement des données : les images satellites proviennent de capteurs différents, avec des résolutions, des projections et des formats variés. Les aligner avec précision est essentiel pour éviter que les cartes finales ne présentent des décalages ou des incohérences.

2. La gestion des échecs distribués : dans un système distribué avec des milliers de workers, les pannes sont fréquentes. La plateforme doit être capable de détecter, isoler et corriger ces échecs sans interrompre le traitement global.

3. L'optimisation des coûts : traiter des téraoctets de données en temps réel nécessite une infrastructure coûteuse. OlmoEarth a dû trouver un équilibre entre performance et économie, en utilisant des ressources adaptées à chaque étape du processus.

4. La sélection intelligente des données : avec des milliers de scènes disponibles, choisir les bonnes images au bon moment est un défi en soi. La plateforme utilise des index de métadonnées avancés et des notifications en temps réel pour garantir une sélection optimale.

LES BONNES PRATIQUES POUR PUBLIER DES DONNÉES SATELLITES

Les équipes d'OlmoEarth ont identifié trois caractéristiques clés que les fournisseurs de données d'observation de la Terre devraient adopter pour faciliter l'intégration de leurs données dans des plateformes comme la leur :

1. Des notifications basées sur une file d'attente : lorsque de nouvelles images deviennent disponibles, les plateformes comme OlmoEarth doivent être informées immédiatement, sans avoir à interroger constamment les catalogues. Cela permet de réduire la latence et d'améliorer l'efficacité.

2. Un stockage sur les principales plateformes cloud : héberger les données sur des plateformes comme AWS, Azure ou Google Cloud, sans restrictions de débit ou de disponibilité, est essentiel pour garantir un accès fluide et rapide aux données.

3. Des formats optimisés pour le cloud : les formats comme COG (Cloud Optimized GeoTIFF) ou Zarr permettent des lectures par plages, c'est-à-dire que l'on peut récupérer uniquement les parties d'une image dont on a besoin, sans télécharger l'intégralité du fichier. Cela réduit considérablement la bande passante et le temps de traitement.

UNE CARTE DES RISQUES D'INCENDIE : UN EXEMPLE CONCRET

Pour illustrer la puissance d'OlmoEarth, prenons l'exemple d'une carte des risques d'incendie couvrant l'Amérique du Nord. Cette tâche a nécessité l'analyse de milliers de scènes satellites, couvrant des millions de kilomètres carrés. Grâce à la parallélisation massive, la plateforme a pu traiter ces données en seulement 30,5 heures, un exploit impossible à réaliser avec des méthodes traditionnelles. Les résultats ont ensuite été assemblés pour former une carte cohérente, permettant aux autorités de visualiser les zones les plus à risque et d'anticiper les interventions.

Cette carte n'est pas qu'une simple image : elle est enrichie de statistiques et de données précises, comme le nombre de pixels à risque, les zones les plus exposées ou les tendances saisonnières. Ces informations sont essentielles pour les décideurs, qui peuvent ainsi allouer les ressources de manière optimale et prévenir les catastrophes avant qu'elles ne se produisent.

L'INDEX DE MÉTADONNÉES : LE CŒUR DE LA PLATEFORME

Au centre de tout ce système se trouve un index de métadonnées avancé, qui joue un rôle crucial dans la sélection et la récupération des données. Cet index stocke non seulement les métadonnées des scènes (date, lieu, type de capteur, couverture nuageuse), mais aussi des pointeurs vers chaque emplacement où les pixels sont disponibles. Grâce à lui, la plateforme peut rapidement identifier les meilleures images à utiliser pour une tâche donnée, sans avoir à télécharger des fichiers entiers.

Cet index est également utilisé pour les outils d'annotation de la plateforme. Il permet de servir des tuiles à partir de n'importe quelle scène indexée (Sentinel-1, Sentinel-2, Landsat ou NISAR) via le même système de lecture par fenêtres, sans avoir besoin de construire un pipeline d'ingestion séparé. Cela simplifie considérablement le processus d'annotation et réduit les coûts de développement.

L'IMPORTANCE DE LA RÉSILIENCE : UN SYSTÈME CONÇU POUR ÉCHOUER

Dans un système distribué comme OlmoEarth, les échecs sont inévitables. Mais plutôt que de les subir, la plateforme les anticipe et les gère de manière proactive. Chaque tâche est conçue pour être réentrante et idempotente, ce qui signifie qu'elle peut être relancée sans risque en cas d'échec. La plateforme suit chaque tâche en temps réel, relance automatiquement les tâches échouées et bascule vers des fournisseurs alternatifs si nécessaire.

Un processus de surveillance dédié détecte les runners qui se bloquent ou s'arrêtent et relance leurs tâches. Cette approche garantit que les résultats sont toujours disponibles, même dans des conditions difficiles. Grâce à cette résilience, OlmoEarth peut fonctionner 24 heures sur 24 et 7 jours sur 7, sans interruption, même face à des pannes massives ou des problèmes de réseau.

LES LIMITES ET LES DÉFIS RESTANTS

Malgré ses avancées, OlmoEarth n'est qu'un début. Les modèles de fondation géospatiaux et, surtout, leur opérationnalisation restent une technologie émergente. De nombreuses organisations œuvrant dans la conservation, la sécurité alimentaire, la réponse aux catastrophes ou le climat n'ont jamais eu accès à une infrastructure comme celle-ci. Le fossé entre ce dont ces équipes ont besoin pour comprendre la planète et ce que leurs budgets et leurs ressources techniques leur permettent de faire reste large.

Les défis à venir sont nombreux : améliorer la précision des modèles, réduire encore les coûts, rendre la plateforme plus accessible aux organisations à but non lucratif, et intégrer de nouvelles sources de données. L'objectif est clair : permettre à quiconque, où qu'il se trouve, de surveiller et de protéger la planète grâce à l'intelligence artificielle.

UNE TECHNOLOGIE AU SERVICE DE LA PLANÈTE

OlmoEarth n'est pas qu'une prouesse technique : c'est un outil au service de la planète. En transformant des montagnes de données satellites en informations actionnables, elle permet aux scientifiques, aux gouvernements et aux organisations environnementales de prendre des décisions éclairées pour protéger les écosystèmes, prévenir les catastrophes et assurer un avenir durable. Que ce soit pour surveiller la déforestation en Amazonie, évaluer la sécurité alimentaire en Afrique ou anticiper les risques d'incendie en Californie, cette technologie ouvre la voie à une nouvelle ère de gestion environnementale.

Avec des plateformes comme OlmoEarth, l'intelligence artificielle ne se contente plus d'analyser des données : elle devient un partenaire essentiel pour comprendre et protéger notre planète.

POUR ALLER PLUS LOIN

Si vous souhaitez en savoir plus sur OlmoEarth et ses applications, vous pouvez consulter le site officiel d'AllenAI : https://allenai.org/olmoearth. Vous y trouverez des exemples concrets, des études de cas et des informations techniques détaillées sur la plateforme.