GPT-5.6 bat tous les records sur ARC-AGI-3 : le secret caché dans les paramètres ?

UNE VIDÉO QUI FAIT RÉFLÉCHIR

GPT-5.6 Sol tente de résoudre des énigmes dans le benchmark ARC-AGI-3. À gauche, l’interface officielle. À droite, une version modifiée de l’API qui conserve les raisonnements et permet de compacter les données. Résultat ? Aucun modèle de pointe ne dépasse le premier niveau avec l’interface standard. Avec cette nouvelle version, GPT-5.6 Sol réussit les six niveaux.

DES SCORES QUI LAISSENT PENSER

Les premiers tests de GPT-5.6 Sol sur ARC-AGI-3 ont laissé les développeurs perplexes. Ce modèle a pourtant résolu des problèmes mathématiques complexes comme la conjecture du double recouvrement de cycles ou battu des jeux comme Pokémon FireRed. Pourtant, sur ce benchmark de jeux en 2D, il n’obtient que 7,8 % de réussite. Son prédécesseur, GPT-5.5, peine encore plus avec seulement 0,4 % de réussite.

Est-ce que les jeux en 2D sont particulièrement difficiles pour ces modèles ? Ou bien y a-t-il autre chose en jeu ?

LES BENCHMARKS NE MESURENT PAS QUE LES MODÈLES

Les benchmarks ne testent pas uniquement les capacités des modèles d’intelligence artificielle. Ils évaluent aussi des choix moins visibles : les paramètres de l’API, la conception de l’interface de test (appelée harness) et les méthodes de prompting. Pour ARC-AGI-3, deux paramètres de l’API ont fait toute la différence : la conservation du raisonnement et la compaction des données. En les activant, les scores ont triplé et le nombre de tokens générés a été divisé par six sur l’ensemble des tâches publiques.

QU’EST-CE QUE ARC-AGI-3 ?

ARC-AGI-3 est un benchmark conçu pour mesurer comment les agents d’IA apprennent et raisonnent. Les agents doivent explorer des jeux en 2D inconnus et en déduire les règles sans instructions explicites. Vingt-cinq jeux de démonstration sont disponibles sur le site arcprize.org/tasks.

L’interface de test d’ARC-AGI-3 est volontairement basique : pas d’Outils spéciaux, pas de fonctionnalités avancées. L’idée ? Montrer clairement les limites des modèles et permettre des comparaisons équitables. En revanche, les développeurs commerciaux optimisent souvent leurs interfaces pour exploiter au mieux les particularités de chaque modèle.

GPT-5.6 SOL, UN CHAMPION DANS D’AUTRES DOMAINES

En matière de jeux vidéo, GPT-5.6 Sol a déjà accompli des exploits. Il a battu Pokémon FireRed avec une interface visuelle uniquement, Slay the Spire en utilisant des outils informatiques, et même les premiers niveaux de Baba Is You. Alors, pourquoi ARC-AGI-3 est-il si différent ?

L’analyse des tentatives de GPT-5.6 Sol a révélé un problème inattendu. Le modèle semblait bloqué sur chaque action, incapable de progresser efficacement.

LA MÉMOIRE QUI DISPARAÎT : LE PREMIER PROBLÈME

Après chaque action dans un jeu, toutes les réflexions privées étaient effacées. GPT-5.6 Sol devait recommencer à zéro à chaque étape, incapable de se souvenir de ses raisonnements passés. Il voyait bien l’historique des mouvements, mais pas les plans, les idées ou les conclusions qui les avaient inspirés.

LA FENÊTRE QUI GLISSE : LE DEUXIÈME PROBLÈME

L’interface utilisait aussi une méthode de troncature roulante. Plus l’historique grandissait, plus les actions anciennes disparaissaient. Résultat : GPT-5.6 Sol perdait non seulement la mémoire de ses raisonnements, mais aussi celle de ses propres actions.

Ces deux caractéristiques de l’interface — l’effacement des raisonnements et la troncature roulante — expliquent pourquoi le modèle avait tant de mal à apprendre au fil du temps.

COMMENT FONCTIONNE LA CONSERVATION DU RAISONNEMENT ?

Les modèles comme GPT-5.6 Sol sont entraînés pour réfléchir en privé avant de donner une réponse ou d’utiliser un outil. Ces messages de réflexion sont conservés dans l’historique de la conversation. Si la conversation devient trop longue, ils sont résumés et conservés.

C’est exactement ce qui se passe dans ChatGPT et Codex. Pour reproduire ce comportement, les développeurs ont utilisé l’API Responses d’OpenAI. Cette API permet de gérer facilement le contexte : en transmettant l’ID de la réponse précédente, les raisonnements sont conservés entre les appels d’outils et les tours de conversation.

LES EFFETS DE LA CONSERVATION DU RAISONNEMENT

Avec cette fonction activée, deux changements majeurs ont été observés. D’abord, GPT-5.6 Sol a passé moins de temps à réfléchir avant chaque action, car il n’avait plus à interpréter le jeu depuis le début à chaque tour. Ensuite, en se souvenant de ses pensées passées, le modèle a pu apprendre plus efficacement au fil du temps et adopter des stratégies cohérentes.

QU’EST-CE QUE LA COMPACTION ?

L’interface d’ARC-AGI-3 limite le contexte à 175 000 caractères. Au-delà, les messages les plus anciens sont supprimés. Cette méthode de troncature roulante a deux inconvénients. Elle fait disparaître les observations et actions antérieures, et force le modèle à travailler avec un contexte presque complet, ce qui peut légèrement réduire ses performances.

En activant la compaction sur ARC-AGI-3, GPT-5.6 Sol a mieux conservé ce qu’il avait appris sur chaque jeu, même lors de sessions plus longues. Résultat : un score plus élevé avec moins de tokens générés.

UNE ANIMATION QUI PARLE D’ELLE-MÊME

Une animation montre comment GPT-5.6 Sol utilise une fenêtre de contexte de 175 000 tokens pour résoudre une série d’énigmes ARC-AGI-3 avec chaque version de l’interface. Les deux colonnes centrales illustrent la différence d’utilisation du contexte. Avec une meilleure mémoire, GPT-5.6 Sol réfléchit moins à chaque action et avance bien plus vite.

UN RAPPEL IMPORTANT POUR LES ÉVALUATIONS

Ces expériences rappellent que les évaluations ne mesurent pas uniquement les modèles. Elles testent aussi un ensemble de choix moins visibles : les paramètres de l’API, la conception de l’interface et les méthodes de prompting. Ce n’est pas la première fois que des scores bas sur un benchmark public s’expliquent par une interface générique qui efface les messages de raisonnement.

QUELLE INTERFACE UTILISER POUR MAXIMISER LES PERFORMANCES ?

Pour les développeurs d’API qui veulent maximiser les performances de leurs modèles, les développeurs recommandent d’utiliser les mêmes paramètres que ceux déployés dans leurs propres produits : conservation du raisonnement et compaction.

COMMENT COMPARER LES MODÈLES DE FAÇON FIABLE ?

Pour comparer les modèles de manière juste, il est conseillé d’utiliser des évaluations qui intègrent ces paramètres. Ils reflètent mieux l’utilisation réelle dans ChatGPT et Codex.

UN HOMMAGE À ARC

Les développeurs expriment leur gratitude envers l’équipe d’ARC pour leur travail créatif sur l’évaluation de l’AGI et pour leur analyse qui a inspiré cette étude approfondie.

ET SI VOUS VOULIEZ VOUS MESURER ?

Pour tester vos propres capacités face aux modèles de pointe, vous pouvez essayer les jeux publics sur arcprize.org/tasks.

EN RÉSUMÉ : DEUX PARAMÈTRES, UNE RÉVOLUTION