Un agent IA peut obtenir 100 % de bonnes réponses en test et échouer en production à cause d’un seul chiffre : le coût par résolution. Voici comment le calculer avant que la finance ne le fasse pour vous.

LE TEST PARFAIT QUI A FAILLI COÛTER UNE EMPLOI

Il y a deux mois, j’ai publié un cadre d’évaluation pour les agents IA composé de douze métriques. Ce système vérifie si un agent fait bien son travail : complétude des tâches, précision des réponses, rapidité, absence d’hallucinations. Mais il ne mesure pas une chose essentielle : est-ce que cet agent rapporte de l’argent ou en coûte ?

Un agent a passé tous ces tests avec brio. Puis il a été désactivé. Dans une entreprise de logiciels en ligne, un agent client avait été conçu pour gérer les factures et les tickets de support. Toutes ses métriques étaient vertes : il répondait correctement, rapidement, sans inventer d’informations. Pourtant, le jour de la revue financière, le directeur financier a sorti un chiffre qui a tout changé.

Le coût par ticket résolu par l’agent était supérieur de 10 % à celui des employés humains qu’il devait remplacer.

L’ingénieur en chef a protesté : « Toutes les métriques qualité sont au vert, l’agent est plus précis que l’équipe . » C’était vrai. Mais dans cette salle, ça ne comptait plus. L’agent était techniquement parfait… et financièrement désastreux. Le cadre d’évaluation ne mesurait pas ce qui compte vraiment en production : l’équilibre économique.

LE PIÈGE DU CADRE D’ÉVALUATION : QUALITÉ ≠ PROFIT

Ce cadre de douze métriques a été créé pour répondre à une question précise : « Est-ce que l’agent se comporte correctement en production ? » Il vérifie les échecs possibles : mauvaise récupération d’informations, hallucinations, appels d’Outils incorrects, boucles de raisonnement sans fin. Chaque métrique isole un moyen pour l’agent de produire une mauvaise réponse.

Mais aucune de ces métriques n’est économique. En début d’année 2026, l’idée dominante était que l’inférence IA devenait moins chère chaque trimestre. Le vrai défi semblait être la fiabilité, pas le coût. « Mesurez la qualité, et l’économie suivra toute seule », pensait-on.

Cette idée était fausse. Oui, le prix par token a baissé. Mais les architectures des agents sont devenues plus gourmandes encore plus vite. Un seul ticket résolu par un agent en 2026 ne repose pas sur un seul appel de modèle. Il implique plusieurs étapes : planification, appels d’outils, passes de raisonnement, parfois une boucle d’auto-critique, des relances après un échec, et une synthèse finale. Le prix par token a diminué, mais le nombre de tokens par résolution a explosé. Pour beaucoup de processus, le deuxième effet a largement dépassé le premier.

C’est pourquoi un cadre axé uniquement sur la qualité est trompeur. Il vous dit que l’agent fait bien son travail. Il ne vous dit pas si ce travail, fait de cette manière, vaut le coup. Un agent peut avoir toutes ses métriques dans la zone verte et perdre de l’argent sur chaque ticket résolu. Le cadre affichera du vert partout tandis que l’économie saignera en silence, parce qu’il n’a jamais été conçu pour voir ça.

LE CHIFFRE QUI DÉCIDE DE LA VIE OU DE LA MORT D’UN AGENT

Le chiffre manquant est le coût par résultat réussi. Pas le coût par appel, pas le coût par token, pas la précision. Le coût réel, complet, de produire un résultat commercial réussi, divisé par le nombre de résultats réussis.

Le mot qui fait toute la différence dans cette définition est « réussi ». Le coût par appel est facile à calculer… et trompeur. Le coût par résultat réussi est difficile à obtenir… mais honnête. Et c’est là que l’entreprise de logiciels en ligne a fait faillite.

Voici les chiffres qui ont tué leur agent, arrondis pour protéger leur identité mais gardant la structure intacte :

Sur 1 000 tickets traités par l’agent :
  • Coût par tentative : 3,40 $ (raisonnement, appels d’outils, relances, synthèse).
  • Résolution réussie : 71 % (710 tickets).
  • Échec et escalade : 29 % (290 tickets).

L’agent a dépensé 3 400 $ pour tenter de résoudre les 1 000 tickets. Les 290 échecs ont ensuite été transmis à un humain, coûtant 4,20 $ par ticket, soit 1 218 $ supplémentaires. Au total, l’entreprise a payé 4 618 $ pour résoudre 1 000 tickets qui auraient coûté 4 200 $ avec des humains uniquement. Le workflow assisté par l’agent était 10 % plus cher que le workflow humain.

Mais le vrai chiffre à regarder est le coût par résultat réussi de l’agent. Ce n’est pas les 3,40 $ par tentative affichés sur le tableau de bord. C’est le coût total divisé par les résolutions réussies : 3 400 $ / 710 = 4,79 $ par ticket résolu. Chaque ticket résolu par l’agent a effectivement coûté 4,79 $, car il faut répartir le coût des tentatives échouées sur les tentatives réussies. Un humain résolvait le même ticket pour 4,20 $. L’agent était plus précis… mais coûtait 59 centimes de plus par résolution réussie, avant même de compter le double paiement des escalades.

Le cadre d’évaluation voyait un taux de résolution de 71 % avec une qualité élevée et concluait au succès. Le directeur financier voyait le vrai coût par ticket résolu dépasser le coût humain et concluait à l’échec. Ils avaient tous les deux raison. Ils mesuraient simplement deux choses différentes, et une seule de ces mesures décidait si l’agent survivait.

POURQUOI CE CHIFFRE EST SI DIFFICILE À CALCULER (ET POURQUOI ON L’ÉVITE)

Si le coût par résultat réussi est la métrique qui décide de la survie d’un agent, pourquoi les équipes ne le calculent-elles pas déjà ? Parce que c’est vraiment difficile à obtenir, et ce pour trois raisons que les tableaux de bord de coût par appel cachent.

La première difficulté est l’attribution des échecs. Le coût d’un résultat réussi inclut le coût des tentatives échouées qui y ont conduit. Quand un agent tente de résoudre un ticket, brûle 3,40 $ en raisonnement et appels d’outils, puis escalade, ces 3,40 $ n’ont pas produit de résultat réussi… mais c’est un coût réel du système qui produit ces résultats. On ne peut pas honnêtement calculer le coût par résultat réussi sans répartir le coût des échecs sur les réussites. La plupart des équipes mesurent le coût par appel, voient un chiffre rassurant, et ne font jamais le calcul qui révèle la réalité. Le coût par appel et le coût par résultat réussi peuvent différer par un facteur de deux… et l’écart grandit à mesure que le taux de résolution baisse.

La troisième difficulté est que la valeur d’un résultat n’est souvent pas un nombre simple. Le coût par résultat réussi n’a de sens que comparé à ce que vaut ce résultat pour l’entreprise. Pour un ticket de support, la valeur est le coût chargé d’un humain équivalent, ce qui est connu. Pour un agent qui qualifie un prospect commercial, rédige une clause de contrat ou trie une alerte de sécurité, la valeur d’un résultat réussi est un exercice de modélisation, pas une simple consultation. Les équipes évitent cette métrique en partie parce que le dénominateur est difficile et que le côté valeur est encore plus complexe. Mais l’éviter ne fait pas disparaître l’économie. Ça signifie simplement qu’on l’apprendra de la bouche du directeur financier lors d’une revue… au lieu d’un tableau de bord en temps utile pour agir.

Aucune de ces difficultés n’est une raison pour dire que la métrique n’a pas d’importance. Ce sont des raisons pour lesquelles on la saute… et la sauter, c’est exactement comment un agent techniquement parfait finit désactivé.

LA RÈGLE SIMPLE QUI DÉCIDE SI UN AGENT SURVIT OU PAS

Une fois qu’on peut calculer le coût par résultat réussi, le test de survie est simple : ce coût doit être inférieur à la valeur économique de ce résultat, avec une marge suffisante pour justifier les coûts opérationnels de faire tourner l’agent.

Pour l’entreprise de logiciels en ligne, la valeur d’un ticket résolu était le coût humain qu’il remplaçait : environ 4,20 $. Leur coût par résultat réussi était de 4,79 $. L’agent était donc en déficit de 59 centimes par résolution réussie… et le système global était en déficit une fois ajouté le double paiement des escalades. Il n’y avait aucune marge à discuter. L’agent perdait de l’argent sur chacune de ses victoires.

Ce seuil a une propriété dangereuse : il se déplace contre vous à mesure que le workflow s’étend, et non avec vous. Dans le logiciel traditionnel, l’intuition dit que les coûts unitaires baissent avec l’échelle. Pour les agents, ce n’est souvent pas le cas, car chaque unité de travail est son propre appel d’inférence et ne devient pas moins chère parce qu’on en fait plus. Si votre coût par résultat réussi est marginalement au-dessus de la ligne de valeur à l’échelle pilote, étendre le déploiement ne sauve pas la situation. Ça multiplie la perte. C’est l’inverse de la courbe de croissance SaaS que la plupart des équipes ont en tête… et c’est pourquoi un agent qui semble « assez bon » au pilote peut devenir une ligne de dépense à six chiffres que la finance repère avant que l’ingénierie ne s’en aperçoive.

Les équipes qui gardent leurs agents en production ne sont pas celles avec les meilleures métriques qualité. Ce sont celles dont le coût par résultat réussi se situe confortablement en dessous de la valeur du résultat, avec de la marge. C’est un critère de sélection différent de celui du cadre d’évaluation. Ça explique pourquoi les agents qui survivent un an en production sont souvent ceux qui ne sont pas les plus sophistiqués. Ce sont ceux déployés sur des workflows où un résultat réussi vaut assez pour couvrir ce que coûte un succès.

Un coût par résultat réussi en dessous de la valeur n’est pas automatiquement une condamnation. C’est un signal : le workflow, l’architecture ou la portée du déploiement doit changer. Il existe de vrais leviers… et un piège spécifique.

TROIS LEVIERS POUR SAUVER UN AGENT (ET UN PIÈGE À ÉVITER)

Le premier levier est de réduire le coût par tentative sans toucher au taux de résolution. En 2026, la plupart des agents sont surdimensionnés pour les tâches médianes. Ils exécutent la même chaîne de raisonnement profonde et le même jeu complet d’outils sur les tickets faciles que sur les difficiles. Réduire la profondeur du raisonnement sur les tâches qui n’en ont pas besoin, mettre en cache les résultats de récupération et d’outils qui se répètent, et limiter le budget de relance là où les relances n’aident pas peut faire baisser significativement le coût par tentative. L’entreprise de logiciels en ligne a ainsi fait passer son coût par tentative de 3,40 $ à environ 2,30 $, sans affecter notablement le taux de résolution.

Le deuxième levier est d’augmenter le taux de résolution sans augmenter le coût par tentative, ce qui répartit les mêmes dépenses sur plus de réussites et réduit directement le coût par résultat réussi. C’est une amélioration authentique de l’agent… et c’est lent, mais c’est le levier qui fait des effets composés.

Le troisième levier est de restreindre la portée du déploiement aux types de tickets où le coût par résultat réussi de l’agent est déjà en dessous de la ligne de valeur, et d’orienter le reste vers les humains dès le départ plutôt que de laisser l’agent tenter et échouer. Si l’agent est économiquement solide sur les questions de facturation mais en difficulté sur les litiges complexes, le déployer uniquement sur les questions de facturation peut rendre l’ensemble du système positif.

C’est sur ce troisième levier que réside le piège… et c’est le piège que j’ai décrit dans un autre article. La façon évidente de réduire les coûts est d’orienter le travail difficile vers un modèle moins cher ou de l’écarter complètement de l’agent. Fait avec un classifieur naïf, ça réintroduit un échec de qualité que le cadre d’évaluation finira par repérer… et on échange un problème économique contre un problème de qualité. Les leviers économiques et de qualité sont couplés. On ne peut pas tirer sur l’un sans surveiller l’autre. Les équipes qui réussissent optimisent le coût par résultat réussi comme une contrainte conjointe avec les métriques qualité, et non comme un simple bouton à tourner. Pour les équipes qui construisent des automatisations de workflows alimentés par l’IA à l’échelle de production, cette optimisation conjointe est le vrai problème d’ingénierie… et c’est celui que les tableaux de bord à métrique unique des deux côtés cachent.

L’entreprise de logiciels en ligne a utilisé les premier et troisième leviers. Elle a réduit son coût par tentative à 2,30 $, restreint le déploiement aux types de tickets où l’agent était économiquement fort, et orienté les litiges complexes vers les humains dès leur réception plutôt qu’après un échec de l’agent. Le coût par résultat réussi est descendu à environ 3,10 $ contre une ligne de valeur à 4,20 $. L’agent est passé de 10 % plus cher que les humains à environ 25 % moins cher… sur une portée réduite, avec une qualité toujours confirmée par le cadre. Il est resté en production. Il a survécu parce que quelqu’un a enfin mesuré le chiffre qui décide de la survie… et a modifié le déploiement jusqu’à ce que le nombre passe au-dessus de la ligne.

POURQUOI CE CHIFFRE EST PLUS IMPORTANT QUE TOUS LES AUTRES

Je veux intégrer le coût par résultat réussi dans le cadre d’évaluation non pas parce qu’il tue les agents. C’est parce que c’est la seule métrique qui dit la vérité dans les deux sens… et c’est dans ce deuxième sens que les tableaux de bord de coût par appel vous induisent en erreur de façon catastrophique.

Quelques semaines après la revue de l’entreprise de logiciels, j’ai examiné un déploiement très différent. Une équipe juridique avait construit un agent pour examiner les contrats commerciaux et repérer des clauses de risque spécifiques avant qu’un avocat humain ne donne son accord final. L’agent exécutait un pipeline coûteux : ingestion de contexte long pour le contrat complet, plusieurs passes de raisonnement sur la bibliothèque de clauses, une étape de récupération contre des contrats types précédents, et une passe d’auto-critique avant de produire ses conclusions. Le coût par tentative était d’environ dix-huit dollars.

Sur un tableau de bord de coût par appel, dix-huit dollars par exécution est le genre de chiffre qui fait qu’un agent est signalé pour revue des coûts et discrètement throttlé. Et c’est ce qui s’est passé. Lors de la revue trimestrielle des dépenses IA, l’agent de contrats était la ligne cerclée en rouge en haut de la liste des coupes : la charge de travail la plus coûteuse par appel du budget. L’instinct dans la salle était de le déplacer vers un modèle moins cher et un pipeline plus court. Suivi à la lettre, cet instinct aurait détruit la seule chose qui rendait l’agent utile.

Le coût par résultat réussi a raconté une histoire radicalement différente. L’agent repérait une vraie clause de risque, confirmée plus tard par un avocat, sur environ un contrat sur neuf. En estimant de manière conservative et en ne comptant que ces détections comme des résultats valant la peine, neuf exécutions à dix-huit dollars coûtent 162 $ de dépenses d’agent par clause détectée. Une seule clause de ce type manquée peut coûter entre cinq et six chiffres en exposition en aval… et l’équipe juridique pouvait quantifier, à partir de ses propres historiques de réclamations, à quelle fréquence la revue humaine seule laissait passer ce genre de clauses. Face à une valeur par résultat réussi mesurée en dizaines de milliers de dollars, 162 $ n’étaient pas chers. C’était l’un des retours sur investissement les plus élevés de l’entreprise.

Le tableau de bord de coût par appel disait que cet agent était le plus cher et méritait d’être réduit. Le coût par résultat réussi disait qu’il était l’agent le plus précieux et méritait d’être étendu.

Même agent, mêmes dépenses, conclusions opposées… et une seule des deux vues était connectée à ce que valait réellement le travail. L’équipe, qui était sur le point de throttler l’agent, a finalement élargi sa portée à deux classes de clauses supplémentaires, a accepté la facture d’inférence plus élevée sans sourciller, et a traité le chiffre de dix-huit dollars par exécution exactement pour ce qu’il était : une assurance bon marché.

C’est pourquoi cette métrique doit figurer aux côtés des métriques qualité, et non en note de bas de page. Le coût par appel d’un agent vous dit ce qu’il dépense. Seul son coût par résultat réussi, mesuré par rapport à la valeur du résultat, vous dit si cette dépense est le meilleur ou le pire argent que l’entreprise investit dans l’IA. L’agent SaaS semblait abordable par appel et était en déficit par résultat. L’agent juridique semblait cher par appel et était l’un des meilleurs retours de l’entreprise. Aucune de ces vérités n’est visible sans cette métrique… et les inverser, ce que le tableau de bord de coût par appel vous invite à faire, c’est la façon dont les entreprises throttlent les agents qu’elles devraient étendre et étendent celles qu’elles devraient throttler.

COMMENT CALCULER CE CHIFFRE SANS Y PASSER DES SEMAINES

L’objection pratique que j’entends souvent est que ça semble être un projet de mesure que l’équipe n’a pas le temps de faire. En réalité, c’est plus léger qu’il n’y en a l’air, car la plupart des données sont déjà enregistrées.

Le côté « coût » a besoin de trois éléments reliés par un identifiant unique :

  • Le coût d’inférence par tentative, déjà capturé par votre fournisseur ou une couche d’instrumentation au niveau de l’appel.
  • L’étiquette de résultat pour chaque tentative : a-t-elle produit un résultat commercial réussi, a-t-elle été escaladée, ou a-t-elle échoué ?
  • Un identifiant stable qui lie tous les appels d’une tentative multi-étapes à la tentative unique à laquelle ils appartiennent, afin que les passes de raisonnement, les appels d’outils et les relances d’un même ticket s’additionnent en un coût de tentative plutôt que de se disperser sur le tableau de bord comme des appels sans lien. Cet identifiant de trace est généralement la pièce que les équipes n’ont pas encore câblée… et c’est une petite addition à une instrumentation qu’elles exécutent déjà pour la plupart.

Le côté « valeur » a besoin d’un seul nombre par workflow : ce qu’un résultat réussi vaut, défendu honnêtement. Pour un workflow qui remplace du travail humain, c’est le coût chargé d’un humain équivalent. Pour un workflow qui évite une perte, c’est l’espérance de valeur de la perte évitée, tirée de vos propres données historiques plutôt que d’un benchmark d’un fournisseur. Il n’a pas besoin d’être précis à trois décimales près. Il doit simplement être défendable au point que la comparaison avec le coût par résultat réussi ait du sens lors d’une revue. Un chiffre de valeur approximatif mais honnête bat un chiffre de coût précis sans rien à comparer.

Une fois ces éléments en place, le coût par résultat réussi est une seule requête : dépense totale de l’agent sur une période, divisée par les résultats réussis sur cette période, comparée à la ligne de valeur. Les équipes qui calculent ce nombre mensuellement arrêtent d’être surprises lors des réunions de revue, parce qu’elles suivent la métrique dont la réunion parle réellement.

LE CADRE D’ÉVALUATION MANQUE LA MOITIÉ DU PROBLÈME

Le cadre de douze métriques répond à la question : « Est-ce que l’agent se comporte correctement ? » C’est une question nécessaire, et je ne retirerais aucune métrique de ce cadre. Mais c’est la moitié seulement de la question que les équipes en production se posent réellement… et le cadre présentait cette moitié comme le tout.

La question complète a une deuxième partie : « Est-ce que l’agent se comporte correctement, et est-ce qu’un résultat réussi coûte moins cher qu’il ne vaut ? » Un cadre qui mesure la première partie et ignore la seconde continuera à valider des agents que la finance éliminera plus tard… et les ingénieurs qui ont construit ces agents continueront à être surpris lors des réunions de revue par un chiffre qu’ils auraient pu connaître bien avant.

Si je devais publier le cadre aujourd’hui, le coût par résultat réussi serait la treizième métrique… et ce ne serait pas une note de bas de page. Il siègerait à côté de la complétude des tâches, car en 2026, ces deux-là ensemble décident si un agent est une capacité ou un passif. La précision vous dit si l’agent peut faire le travail. Le coût par résultat réussi vous dit si le travail, fait de cette manière, vaut le coup. Les agents qui survivent l’année sont ceux pour lesquels les deux réponses sont oui… et la façon la plus rapide de le découvrir est de mesurer ce nombre avant que le directeur financier ne le fasse.

Sources :
  • Towards Data Science

L'indépendance de CLODCO est votre garantie.

Pour que l'actualité de l'IA reste sans filtre et sans concession, votre soutien est indispensable. Votre contribution est le seul moteur de notre liberté éditoriale.

Soutenir CLODCO