L'IA qui traduit le langage des signes en texte arrive sur vos smartphones

UNE RÉVOLUTION POUR LES PERSONNES SOURDES

Depuis des décennies, l’intelligence artificielle a transformé la façon dont nous communiquons. Elle traduit des langues, dicte des textes, ou répond à nos questions à l’oral comme si c’était naturel. Pourtant, jusqu’à aujourd’hui, cette révolution n’avait pas touché les plus de 200 langues des signes utilisées par environ 70 millions de personnes sourdes ou malentendantes dans le monde.

Google DeepMind change la donne avec le lancement de SL2T, un modèle d’IA révolutionnaire capable de traduire en temps réel le langage des signes en texte. Pour la première fois, cette technologie quitte les laboratoires pour équiper des produits grand public. Dès aujourd’hui, SL2T est disponible sur les applications Gboard et Live Transcribe des smartphones Pixel 11, en commençant par l’américain (ASL) vers l’anglais. D’autres appareils et langues suivront rapidement.

COMMENT ÇA MARCHE ? UNE DICTÉE PAR SIGNES

Imaginez pouvoir dicter un message à votre téléphone sans parler, simplement en faisant des signes. C’est exactement ce que permet SL2T. Au lieu de taper sur un clavier, une personne sourde peut signer devant son écran pour envoyer un message, rédiger un document, ou même demander à l’assistant Gemini de résoudre une question. Dans l’application Live Transcribe, il devient possible de répondre en signant lors d’une conversation, sans avoir à échanger des messages texte.

Selon les premiers tests, signer en ASL est plus rapide, plus naturel et plus agréable que d’écrire en anglais. Une avancée qui pourrait transformer le quotidien de millions de personnes.

POURQUOI CELA A PRIS AUTANT DE TEMPS ?

Les langues des signes sont bien plus que de simples gestes représentant des mots. Elles possèdent leurs propres grammaires, vocabulaires et structures, très différentes des langues parlées. Contrairement à la transcription vocale qui se contente de transformer des sons en texte, traduire un langage des signes nécessite une véritable traduction automatique, pas seulement une conversion mot à mot.

Autre défi de taille : l’IA doit apprendre à voir et comprendre les mouvements du corps. Les langues des signes utilisent simultanément les mains, les bras, le torse, la tête et le visage pour transmettre un sens. Suivre ces mouvements en temps réel, avec une grande précision, est un défi de vision par ordinateur extrêmement complexe et gourmand en calculs.

C’est pourquoi les premières tentatives, comme les gants traducteurs, ont échoué. Les langues des signes ne se résument pas à de l’anglais avec les mains. Elles exigent une perception visuelle fine des mouvements du corps entier et une traduction linguistique complète. SL2T relève ces deux défis.

UN MODÈLE ENTRAÎNÉ SUR PLUS DE 100 000 HEURES DE DONNÉES

Pour créer SL2T, les équipes de Google DeepMind ont combiné deux approches : une méthode centrée sur l’utilisateur et une échelle massive de données. Le modèle a été entraîné sur plus de 100 000 heures de vidéos couvrant plus de 50 langues des signes. Environ un quart de ces données concerne l’ASL. En apprenant sur des langues, dialectes et niveaux de maîtrise variés, le modèle a pu identifier des structures communes, surpassant les modèles spécialisés dans une seule langue.

Pour protéger la vie privée des utilisateurs, SL2T ne traite pas les vidéos brutes. Il utilise MediaPipe Holistic, un modèle exécuté sur l’appareil, qui repère les points clés du corps de la personne qui signe. Seules ces coordonnées géométriques sont envoyées au serveur pour traduction. La vidéo originale est immédiatement supprimée, garantissant la confidentialité.

PAS DE TRADUCTION INTERMÉDIAIRE : DIRECTEMENT DU GESTE AU TEXTE

Contrairement aux méthodes traditionnelles qui utilisent des annotations intermédiaires appelées glosses (des mots-clés représentant les signes), SL2T traduit directement les coordonnées des mouvements en texte. Les glosses échouent à capturer les aspects riches et non linéaires des langues des signes, comme les marqueurs non manuels ou les constructions spatiales.

En supprimant cette étape intermédiaire, SL2T évite les limites artificielles de vocabulaire et permet à la qualité de traduction de progresser directement avec la quantité de données disponibles.

DES PERFORMANCES RECORD ET DES DÉFIS RESTANTS

Sur le benchmark FLEURS-ASL (sd-test), qui évalue la qualité de traduction de l’ASL vers l’anglais, SL2T obtient un score zéro-shot de 70 BLEURT. Ce résultat est significativement supérieur à tous les scores précédemment publiés. Cependant, optimiser les performances académiques ne suffit pas pour une utilisation réelle. Les équipes ont donc travaillé sur des aspects pratiques :

• Réduire la latence en streaming pour une traduction fluide
• Éviter les hallucinations lorsque la personne ne signe pas
• Garantir l’équité pour les 10 % de personnes qui signent de la main gauche
• Améliorer la performance pour les personnes qui signent d’une seule main, par exemple en tenant un téléphone

CONSTRUIT AVEC LA COMMUNAUTÉ SOURDE, PAS POUR ELLE

Ce projet est né d’une conviction : l’IA doit être développée avec la communauté sourde, et non pour elle. Chaque étape a été guidée par des perspectives sourdes, depuis la conceptualisation par Sam Sepah, un employé sourd de Google, jusqu’à la collecte de données avec des partenaires sourds, en passant par des tests utilisateurs et des évaluations avec des experts sourds.

Pour encadrer un déploiement responsable, une comité consultatif a été créé : l’AI Sign Language Advisory Committee (AISLAC). Ce groupe rassemble des organisations mondiales de personnes sourdes et des experts du domaine. Grâce à ce modèle de gouvernance participative, les communautés les plus impactées par la technologie influencent directement les priorités de Développement.

Pour le lancement de SL2T 1.0 dans Gboard et Live Transcribe, une étude d’impact conjointe a été co-rédigée. Ce rapport détaille de manière transparente les capacités et les limites actuelles de la technologie. Une approche collaborative qui sera reproduite pour toutes les futures releases.

UNE TECHNOLOGIE QUI S’APPUIE SUR DES ANNÉES DE RECHERCHE

SL2T ne part pas de zéro. Il s’appuie sur des décennies de recherches académiques et industrielles. Cependant, permettre à des utilisateurs sourds de signer directement sur leur téléphone n’est qu’un début. La mission de Google est d’organiser l’information du monde et de la rendre universellement accessible et utile. Atteindre une accessibilité totale signifie parvenir à une parité complète avec les langues parlées et écrites.

Les équipes travaillent déjà à l’expansion de cette technologie à d’autres langues des signes, à la génération de langage des signes, et à l’intégration de capacités d’IA de pointe. L’objectif est clair : rendre l’accès aux langues des signes standard sur le paysage numérique.

DISPONIBLE DÈS MAINTENANT SUR PIXEL 11

Vous pouvez tester SL2T dès aujourd’hui sur les applications Gboard et Live Transcribe, disponibles sur les smartphones Pixel 11. Cette fonctionnalité est accessible sans coût supplémentaire. D’autres appareils suivront bientôt, avec de nouvelles langues à venir.

Ce projet est le fruit d’un travail commun entre les équipes de Google DeepMind et d’Android. Le modèle SL2T a été développé par : Garrett Tanzer, Benoit Brard, Elizabeth Clark, Tim Dozat, Sebastian Ebert, Dan Garrette, Manfred Georg, Vicky Holgate, Shankar Kumar, Mohammad Saboorian, Miloš Stanojević, Megh Umekar, John Wieting, Andy Zhang et Chris Dyer.

L’intégration du modèle dans Gboard et Live Transcribe a été réalisée par l’équipe Android : Ausmus Chang, Sai Aditya Chitturu, Dayle Chiu, Anna Chou, Ajay Dudani, Angana Ghosh, Alex Huang, Joanne Kim, Ed Lee, Thomas Lin, James Su, Yanchao Su et Sharlene Yuan.

De nombreuses autres personnes ont contribué à ce projet, dont Anelia Angelova, Abhishek Bapna, Sara Basson, Glenn Cameron, Scott Crowell, Trevor Cohn, Noah Fiedel, Zoubin Ghahramani, Raia Hadsell, Tom Hudson, Alexander Hauerslev Jensen, Kazuya Kawakami, Peike Li, Liam McCafferty, Caroline Pantofaru, Abhinav Parashar, Christopher Patnoe, Laura Rimell, Sam Sepah, Thad Starner, Dave Uthus et Biao Zhang.

Un grand merci également à tous ceux qui ont participé aux tests initiaux de nos modèles.

UN PAS DE GÉANT POUR L’ACCESSIBILITÉ NUMÉRIQUE

SL2T marque une étape historique dans l’accessibilité numérique. Pour la première fois, une technologie permet aux personnes sourdes de communiquer avec le monde numérique de manière naturelle et intuitive. Une avancée qui ouvre la voie à une inclusion plus large et à de nouvelles possibilités de connexion entre les communautés sourdes et entendantes.

Alors que l’intelligence artificielle continue de progresser, les défis restent nombreux : élargir le nombre de langues supportées, améliorer la précision en temps réel, et garantir que chaque utilisateur, quel que soit son niveau de maîtrise ou sa situation, puisse bénéficier de ces outils. Mais une chose est sûre : l’avenir de la communication pour les personnes sourdes est en train de s’écrire, et il est plus accessible que jamais.