Les entreprises donnent des IA autonomes à leurs clients… mais leurs tests sont nuls

Dans 157 entreprises, les équipes techniques accordent de plus en plus d'autonomie à leurs agents IA, mais elles font de moins en moins confiance aux tests censés valider cette autonomie. La moitié d'entre elles ont déjà lancé un agent qui a passé leurs évaluations internes… avant de planter en production devant un client. Pire : seulement 5% font entièrement confiance aux évaluations automatiques aujourd'hui. Le reproche principal ? Ces tests ne reflètent pas la réalité.

Et pourtant, deux tiers des entreprises autorisent déjà — ou préparent activement — le déploiement d'agents en production sur la seule base d'évaluations automatiques, sans aucune validation humaine. Résultat : un écart d'évaluation, une distance de plus en plus grande entre l'autonomie accordée aux agents et la confiance placée dans les tests censés les encadrer.

UNE ENQUÊTE QUI DÉCRYPTE LES TESTS DES AGENTS IA

Cette étude, menée par VentureBeat Pulse Research, analyse comment les responsables techniques mesurent la performance des agents IA : quels Outils de fiabilité et d'évaluation ils utilisent, comment ils les sélectionnent et leur font confiance, ce qui plante en production, et jusqu'où ils sont prêts à laisser les agents fonctionner sans supervision humaine.

Le constat principal est sans appel : il existe un écart d'évaluation. Les entreprises accordent de plus en plus d'autonomie à leurs agents, mais font de moins en moins confiance aux tests censés les encadrer. La moitié des organisations (50%) ont, au cours de l'année écoulée, déployé un agent ou une fonctionnalité d'IA qui a passé leurs évaluations internes… avant de provoquer un échec en face d'un client. Un quart d'entre elles ont vécu cette situation plus d'une fois.

La confiance dans les tests eux-mêmes est extrêmement faible : seulement 5% affirment faire entièrement confiance aux évaluations automatiques aujourd'hui. Le reproche le plus cité ? Les évaluations ne correspondent pas aux résultats réels (29%). Les entreprises découvrent à leurs dépens qu'un test réussi ne signifie pas qu'un agent fonctionne réellement.

L'AUTONOMIE AVANCE PLUS VITE QUE LES TESTS

Ce qui rend cet écart particulièrement dangereux, c'est la direction prise par les entreprises. Deux tiers des organisations (66%) autorisent déjà le déploiement entièrement automatique — sans aucune supervision humaine — pour des agents à faible risque (34%), ou sont en train de modifier leurs processus pour le permettre dans les douze prochains mois (33%).

En parallèle, la pile d'évaluation qui devrait inspirer cette confiance est fragmentée et immature. Les outils les plus utilisés ? Les évaluations natives des fournisseurs de modèles (OpenAI, Anthropic, etc.) — qui représentent 17% des cas — ou… l'absence totale d'outil dédié (également 17%). À peine un quart des entreprises effectuent des vérifications de qualité en temps réel sur le trafic de production. L'autonomie arrive plus vite que les garanties.

QUI RÉPOND À CETTE ENQUÊTE ?

Cette enquête s'inscrit dans la série Pulse Research de VentureBeat. Elle se concentre sur la manière dont les responsables techniques évaluent la performance et la fiabilité des agents IA. Les réponses proviennent d'organisations employant au moins 100 personnes (n=157), issues d'une seule vague de sondage en juin 2026. Comme il s'agit d'un seul échantillon et non d'une collecte sur plusieurs mois, le rapport est une photographie instantanée et ne permet pas de déduire des tendances mensuelles.

Les répondants sont majoritairement des décideurs seniors et crédibles : 38% sont les décideurs finaux pour les achats d'IA, 34% sont des recommandeurs ou influenceurs. Les chefs de produit et responsables de programme représentent 15% des répondants, suivis par les consultants et conseillers (10%), les directeurs d'ingénierie/IT (8%) et les CIO/CTO/CISO (8%). Le reste (37%) regroupe d'autres fonctions.

Côté taille d'entreprise, l'échantillon est plutôt orienté vers les PME : 37% emploient entre 100 et 499 personnes, 27% entre 500 et 2 499. Les entreprises de 2 500 à 9 999 employés représentent 20% de l'échantillon, celles de 10 000 à 49 999 employés 10%, et les géants de plus de 50 000 employés 6%. Le secteur technologique/logiciel domine avec 23%, suivi par le commerce/consommation (15%), la santé/sciences de la vie (12%) et l'industrie (10%).

LA MOITIÉ DES ENTREPRISES ONT DÉPLOYÉ UNE IA QUI A ÉCHOUÉ EN PRODUCTION

Les enquêteurs ont demandé aux entreprises si, au cours des 12 derniers mois, elles avaient déployé un agent ou une fonctionnalité d'IA qui avait passé leurs évaluations internes… avant de provoquer un échec en face d'un client. La moitié de celles qui effectuent des évaluations ont répondu oui.

Ce chiffre est le plus marquant du rapport. La moitié des organisations (50%) ont lancé une fonctionnalité IA qui a passé leurs tests internes… avant de planter devant un client : une réponse incorrecte, un workflow brisé, ou un incident de qualité. Un quart d'entre elles ont vécu cette situation plus d'une fois. Seuls 36% déclarent n'avoir connu aucun échec de ce type, et les autres soit n'effectuent aucune évaluation pré-déploiement (8%), soit ne suivent pas suffisamment la cause racine pour le savoir (6%).

L'échec est précis et coûteux : l'évaluation disait que l'agent était prêt, mais il ne l'était pas. Tout ce qui suit — comment les entreprises font confiance à leurs évaluations, ce qu'elles surveillent, et combien d'autonomie elles accordent — est façonné par cette expérience.

LE PROBLÈME N°1 : LES TESTS NE CORRESPONDENT PAS À LA RÉALITÉ

Les enquêteurs ont demandé quelle limitation réduit le plus la confiance dans les évaluations automatiques des agents aujourd'hui. Presque personne n'est entièrement satisfait.

Seulement 5% des entreprises affirment faire entièrement confiance aux évaluations automatiques en l'état — ce qui signifie que 95% pointent une limitation qui les freine. Le reproche le plus fréquent, cité par 29%, est celui qui explique directement le constat précédent : les évaluations ne correspondent pas aux résultats réels, validant des agents qui échouent ensuite. Viennent ensuite les biais ou incohérences (21%) et le manque d'explicabilité (18%) — les entreprises ne peuvent pas toujours comprendre pourquoi une évaluation a rendu un verdict. Enfin, 17% citent des problèmes de fuite de données ou de respect de la vie privée dans le processus d'évaluation lui-même. Les tests censés certifier les agents ne sont pas encore dignes de confiance pour les certifier, ce qui explique pourquoi la trajectoire d'autonomie du troisième constat est si frappante.

DEUX TIERS DES ENTREPRISES AUTORISENT — OU PRÉPARENT — DES DÉPLOIEMENTS SANS CONTRÔLE HUMAIN

Les enquêteurs ont demandé aux entreprises si elles autoriseraient un agent autonome à déployer une modification de code ou de système en production sur la base exclusive des résultats d'évaluations automatiques, sans aucune validation humaine. La trajectoire est claire.

Voici le paradoxe au cœur du rapport : alors que presque personne ne fait entièrement confiance aux évaluations automatiques, deux tiers des entreprises (66%) autorisent déjà le déploiement sans supervision humaine pour des agents à faible risque (34%), ou sont en train de modifier leurs processus pour le permettre dans l'année (33%). Seuls 22% l'excluent pour le moment. La direction est sans ambiguïté : les entreprises se préparent à laisser les évaluations contrôler la production de manière autonome — en supprimant le contrôle humain — au moment même où elles reconnaissent que ces évaluations ne correspondent pas de manière fiable à la réalité. Le plafond de l'autonomie monte plus vite que les garanties en dessous, ce qui explique pourquoi les échecs de confiance excessive du premier constat vont se multiplier plutôt que diminuer.

Notons que cette tendance vers l'autonomie n'est pas réservée aux petites entreprises. En divisant l'échantillon par taille d'entreprise, les grandes entreprises sont légèrement plus avancées que les petites : 70% contre 64% se dirigent vers un déploiement sans revue humaine, et 54% contre 48% ont déjà déployé un agent ayant passé les évaluations avant d'échouer en face d'un client. L'idée que les grandes entreprises régulées gardent le plus longtemps un humain dans la boucle est, dans cet échantillon, inversée.

LES ÉVALUATIONS NATIVES DES FOURNISSEURS DOMINENT — À ÉGALITÉ AVEC L'ABSENCE D'OUTIL DÉDIÉ

Les enquêteurs ont demandé quelles plateformes de fiabilité ou d'évaluation les entreprises utilisent principalement aujourd'hui. Le marché n'a pas de leader clair… et une part importante n'a rien de dédié.

La couche d'évaluation est encore jeune et non consolidée. Les outils natifs des fournisseurs dominent : les évaluations et traces natives d'OpenAI (17%) et celles de la console Claude d'Anthropic (13%) représentent ensemble plus que n'importe quelle plateforme indépendante. Mais elles sont à égalité avec une réponse frappante : 17% des entreprises n'utilisent aucun outil dédié d'évaluation des agents, un vide notable pour des organisations qui déploient des agents auprès de leurs clients. Les fournisseurs spécialisés — DeepEval (12%), Braintrust (8%), LangSmith, Weave, Promptfoo, Langfuse, Arize — sont dispersés entre 1% et 12%, et 11% ont construit leurs propres outils. Aucune plateforme indépendante n'est encore devenue la norme du secteur, ce qui laisse la plupart des entreprises évaluer leurs agents avec des outils natifs des fournisseurs, des scripts maison, ou rien du tout.

SEULEMENT UN QUART DES ENTREPRISES SURVEILLENT LA QUALITÉ DES RÉPONSES EN TEMPS RÉEL

La surveillance de production pour un agent IA peut suivre deux choses très différentes. Elle peut surveiller si le système fonctionne — l'agent est-il disponible et répond-il ? Chaque requête est-elle terminée ? À quelle vitesse ? À quel coût ? Y a-t-il des erreurs ? Ou elle peut surveiller si la réponse de l'agent est correcte — des vérifications automatiques qui évaluent le contenu de chaque réponse au moment où elle est envoyée : l'agent a-t-il donné la bonne réponse ? A-t-il pris la bonne action ? Est-il resté dans les limites autorisées ?

La distinction est cruciale, car une réponse fausse mais donnée avec confiance est invisible pour le premier type de surveillance : la requête est terminée, la réponse est rapide, aucune erreur n'est détectée, et tous les indicateurs de fonctionnement semblent sains. Les enquêteurs ont demandé aux entreprises ce que leur surveillance de production surveille aujourd'hui.

La répartition est frappante : 51% des entreprises surveillent uniquement si l'agent fonctionne, tandis que 23% surveillent si ses réponses sont correctes. En comptant les revues ad hoc et les « je ne sais pas », environ trois quarts des entreprises n'effectuent aucune évaluation automatique et en temps réel de la correction des réponses en production. Elles peuvent voir que le système est disponible et combien cela coûte, mais elles prennent la correction de ses réponses sur parole. Ce point aveugle est l'équivalent, en phase de production, de l'écart pré-déploiement du premier constat : les mêmes organisations qui retirent l'humain de la décision de déploiement ne peuvent généralement pas voir, en temps réel, quand l'agent déployé commence à se tromper.

PRIX ET INTÉGRATION GUIDENT LE CHOIX ; LA CONSISTANCE EST LA MESURE DU SUCCÈS

Les enquêteurs ont demandé ce qui influence le plus le choix des entreprises en matière d'outil d'évaluation, et ce qu'elles considèrent comme leur principale mesure de succès. Les deux réponses sont pragmatiques.

L'accent mis sur la consistance est révélateur : avant que les entreprises ne puissent faire confiance au verdict d'une évaluation, elles ont besoin qu'elle soit stable — une propriété dont l'absence (biais et incohérence) figurait parmi les principales limites de confiance du deuxième constat. La satisfaction vis-à-vis des outils actuels est modérée, avec une note moyenne de 3,8 sur 5 pour la satisfaction globale, la facilité de mise en œuvre et le rapport qualité-prix.

LES INVESTISSEMENTS SE DIRIGENT VERS LA SURVEILLANCE, PAS SEULEMENT VERS L'AUTOMATISATION

Les enquêteurs ont demandé quel investissement en fiabilité et évaluation connaîtra la plus forte croissance au cours de l'année prochaine. L'argent va vers une surveillance plus étroite des agents… y compris avec des humains.

Le deuxième plus gros investissement prévu — juste derrière la surveillance de production — concerne les workflows de revue humaine, à hauteur de 26%. Lu à la lumière du premier constat, c'est la contradiction la plus discrète du rapport : au moment même où deux tiers des entreprises se préparent à retirer l'humain de la décision de déploiement, plus d'entre elles prévoient d'augmenter leurs dépenses pour les réviseurs humains (26%) que pour les pipelines d'évaluation automatiques (16%) qui devraient les remplacer. La trajectoire vers le zéro humain et le budget pour les réviseurs humains augmentent en même temps dans les mêmes entreprises. En effet, seulement 8% déclarent que leur budget n'augmente pas.

Ensemble, ces chiffres montrent que les entreprises se couvrent : elles se préparent à l'autonomie tout en dépensant pour surveiller les agents de plus près et garder des humains disponibles pour les décisions que les évaluations automatiques ne peuvent pas encore prendre en toute confiance.

PRÈS DE DEUX TIERS DES ENTREPRISES PRÉVOIENT D'ADOPTER OU DE CHANGER DE PLATEFORME D'ÉVALUATION D'ICI UN AN

Les enquêteurs ont demandé aux entreprises si elles prévoyaient d'adopter une nouvelle plateforme d'évaluation, d'en ajouter une, ou d'en remplacer une, et lesquelles elles envisageaient. Peu ont l'intention de rester sur leurs positions.

Le marché de l'évaluation est encore très ouvert. Alors que 36% n'envisagent aucun changement, une large majorité (64%) prévoient d'adopter une nouvelle plateforme, d'en ajouter une, ou d'en remplacer une dans les douze prochains mois, dont 31% dans le trimestre à venir. Les plateformes envisagées reflètent les faiblesses actuelles : DeepEval de Confident AI arrive en tête (20%), devant les évaluations natives d'OpenAI (13%) et Braintrust (9%) — les spécialistes open source attirant plus d'intérêt que leur présence actuelle ne le suggère.

Étant donné que tant d'entreprises s'appuient aujourd'hui sur des outils natifs des fournisseurs ou sur rien du tout, il s'agit moins d'une défection que d'une première vague réelle d'adoption d'outils — le moment où la couche d'évaluation commence à se consolider. Quelles plateformes gagneront cette confiance, dans un marché où presque personne ne fait encore confiance aux évaluations automatiques, est la question ouverte que cette série continuera à suivre.

LE MARCHÉ DE L'ÉVALUATION EST ENCORE JEUNE ET INSTABLE

Les organisations de plus de 100 employés accordent plus d'indépendance à leurs agents IA qu'elles ne font confiance à leurs évaluations pour les soutenir. La moitié ont déjà déployé un agent qui a passé ses évaluations… avant d'échouer en face d'un client ; presque personne ne fait entièrement confiance aux évaluations automatiques, principalement parce qu'elles ne correspondent pas aux résultats réels ; et la plupart surveillent la production pour vérifier la disponibilité et le coût plutôt que pour savoir si les réponses de l'agent sont correctes.

Et pourtant, deux tiers autorisent déjà — ou préparent activement — le déploiement en production sur la seule base d'évaluations automatiques.

Le marché des fournisseurs est encore jeune et instable : les outils d'évaluation les plus utilisés sont ceux des fournisseurs, à égalité avec l'absence totale d'outil dédié, et une large majorité prévoient d'adopter ou de changer de plateforme dans l'année. De manière encourageante, le prochain dollar investi ira vers l'observabilité… et vers la revue humaine, suggérant que les entreprises sentent l'écart même en se préparant à le franchir.

Avec 157 répondants issus d'une seule vague, orientée vers les PME, il s'agit d'une lecture directionnelle — mais la direction est claire : l'autonomie est accordée sur la base d'évaluations que ceux qui les accordent ne font pas encore entièrement confiance. L'écart d'évaluation n'est pas un problème de couverture qui serait résolu par plus de tests. C'est un problème d'évaluations qui reflètent la réalité et peuvent être dignes de confiance pour la contrôler. La question ouverte pour les prochaines vagues est de savoir si les garanties rattrapent l'autonomie… ou si les échecs de confiance excessive passent des incidents clients à des modifications qui se déploient toutes seules.