Agent de test A/B : ce que c'est, ce qu'il fait et comment fonctionne celui de Mida

Réponse rapide

Un agent de test A/B est un système d'IA qui prend en charge le travail concret d'une expérience : il rédige l'hypothèse, crée la variante, vérifie la configuration et analyse le résultat par rapport au contrôle. Une personne valide toujours ce que voient les visiteurs. L'agent de test A/B de Mida fonctionne dans le tableau de bord Mida, mais aussi depuis Claude, ChatGPT, Cursor ou un agent de code dans votre terminal. Chaque test qu'il crée démarre en brouillon, et rien n'est mis en ligne sans votre accord.

L'expression a aussi un second sens : lancer un test A/B sur un agent d'IA, pour voir si un nouveau prompt ou un nouveau modèle donne de meilleurs résultats auprès de vrais utilisateurs. Cet article couvre les deux.

Points clés à retenir

• Un agent de test A/B s'occupe de la création, du contrôle qualité et de l'analyse. Vous gardez l'hypothèse, la décision de lancement et le choix de déploiement.
• L'agent de Mida travaille à quatre endroits : le tableau de bord, un serveur MCP pour les assistants de chat, une CLI pour les agents de code et des SDK pour les tests qui s'exécutent dans votre propre code.
• Un agent rend les tests moins coûteux à mener. Il ne change pas le volume de trafic dont un test a besoin avant que vous puissiez lui faire confiance.

La plupart des tests A/B ne gagnent pas. Dans le benchmark public de Mida portant sur les tests réalisés entre août 2023 et août 2026, 10,1 % ont produit un gagnant avec un niveau de confiance de 95 % et 75 % se sont révélés neutres.

C'est normal, et c'est pourquoi le coût de chaque test compte autant. Si un test demande deux semaines de design, de temps de développement et de QA avant même de démarrer, vous n'avez droit qu'à une poignée d'essais par an. Si un test prend un après-midi, vous multipliez les chances de trouver celui qui fonctionne.

C'est le rôle d'un agent de test A/B. Il ne fait pas gagner vos idées plus souvent. Il rend chaque essai moins coûteux et repère les erreurs de configuration qui faussent discrètement les résultats.

Qu'est-ce qu'un agent de test A/B ?

Un agent de test A/B est une IA capable d'agir dans votre outil de test, et pas seulement de parler de test. Vous lui donnez un objectif en langage courant, par exemple « tester un titre plus court sur la page de tarifs », et il utilise les commandes de l'outil pour créer l'expérience, définir le ciblage, associer un objectif et préparer un aperçu.

C'est là toute la différence avec un chatbot à qui l'on demande des idées de tests. Un chatbot vous remet une liste. Un agent vous remet un brouillon de test que vous pouvez prévisualiser et lancer.

L'expression s'emploie de deux façons :

• Un agent qui mène des tests A/B pour vous. L'IA crée, vérifie et analyse des expériences sur votre site web ou votre application. C'est le sujet principal de cet article.
• Tester en A/B un agent d'IA. Vous avez créé un bot de support ou un assistant commercial, et vous voulez savoir si un nouveau prompt ou un nouveau modèle fonctionne mieux auprès de vrais utilisateurs. Nous y revenons plus bas.

Que fait l'agent de test A/B de Mida ?

Quatre missions, dans l'ordre où se déroule un test.

Sous ce nom unique se trouvent plusieurs composants lancés au cours de 2026. Voici à quoi sert chacun d'eux.

Vous n'avez pas besoin de tout utiliser. La plupart des équipes commencent par l'Agent dans le tableau de bord, puis ajoutent le reste quand le besoin se présente.

Comment fonctionne un agent de test A/B, étape par étape ?

Voici un test du début à la fin, avec l'Agent qui fait le gros du travail.

1. Partez d'une idée ou demandez-en une. Saisissez ce que vous voulez tester, ou demandez « que devrais-je tester ensuite sur mon site ? ». L'Agent examine vos pages, vos tests passés et les objectifs que vous suivez déjà avant de vous proposer quoi que ce soit.
2. Il rédige le test. Vous obtenez une hypothèse, une variante, un ciblage de pages, une audience et un objectif principal. Le tout est enregistré en brouillon, donc rien n'a encore changé sur votre site.
3. Il vérifie son propre travail. Le contrôle qualité charge le contrôle et la variante comme le ferait un visiteur, sur ordinateur et sur mobile, et signale ce qui cloche : un sélecteur qui ne correspond à rien, un objectif qui ne peut pas se déclencher, un ciblage qui exclurait les visiteurs arrivant avec des paramètres UTM.
4. Vous prévisualisez et validez. Vous ouvrez le lien de prévisualisation, regardez la modification sur votre vraie page et décidez. Le lancement se fait en appuyant sur un bouton ou en répondant oui dans le chat. L'Agent ne peut pas le faire à votre place.
5. Il surveille le test. Une routine ou un workflow peut vérifier un test en cours à intervalles réguliers et vous prévenir quand quelque chose semble anormal, par exemple une répartition du trafic qui a dérivé ou un objectif qui n'enregistre plus rien.
6. Il lit le résultat. Demandez « ce test est-il prêt à être tranché ? » et il répond à partir des mêmes chiffres que ceux de la page de résultats, puis rédige un compte rendu de ce qui s'est passé pour que l'enseignement ne soit pas perdu.

Si vous voulez la version longue de cette boucle, avec les étapes que vous ne devriez jamais déléguer, consultez comment utiliser des agents IA pour mener un test A/B.

Sur quelles données l'agent s'appuie-t-il ?

Les vôtres. L'Agent lit les expériences, objectifs, résultats et paramètres de votre projet Mida, ainsi que le contexte métier que vous avez renseigné lors de la configuration : ce que vous vendez, à qui vous vendez et ce qui compte comme une conversion. Dans le panneau latéral du tableau de bord, il sait aussi sur quelle page vous vous trouvez, de sorte que « ce test est-il prêt à être tranché ? » désigne le test que vous avez sous les yeux.

Quand il lit un résultat, il utilise les statistiques de Mida et non son propre calcul. C'est important, car un modèle de langage à qui l'on demande de comparer deux taux de conversion n'hésitera pas à deviner. Mida indique la probabilité qu'une variante batte l'originale pour les tests bayésiens, ou une valeur p pour les tests fréquentistes, et l'Agent s'exprime selon celle qu'utilise votre test.

Deux garde-fous méritent d'être connus :

• Pas de gagnant prématuré. Le tableau de bord n'affiche « Winner ready » qu'une fois qu'un test a tourné au moins 7 jours et compte au moins 25 conversions dans chaque variante. Cela vous protège de l'erreur classique qui consiste à regarder les résultats et arrêter trop tôt.
• Un bilan de santé avant le verdict. Chaque test comporte un statut de ratio d'échantillon et une ligne de garde-fous. Si la répartition du trafic est défaillante, le résultat n'est pas fiable, et cela apparaît à côté des chiffres.

Ce qui reste humain

Les étapes où une erreur coûte cher. L'Agent enquête et rédige. Une personne décide de ce que voient les visiteurs.

Quelques contrôles viennent renforcer cela :

• Des brouillons par défaut. Un test créé par l'Agent, le serveur MCP ou la CLI reste un brouillon tant qu'une personne ne le lance pas.
• Des validations pour les équipes. Les contributeurs peuvent créer des tests et demander l'approbation pour les lancer. Les modifications proposées par l'Agent arrivent avec leurs justifications et un niveau de risque, afin que l'approbateur sache à quoi il donne son accord.
• Des connexions en lecture seule. Lorsque vous connectez un assistant externe, vous pouvez choisir la lecture seule. Il peut alors consulter les expériences et les résultats, mais ne peut rien créer, modifier ni supprimer.
• Un interrupteur. Un Owner ou un Admin peut désactiver les fonctionnalités d'IA pour toute l'entreprise et continuer à utiliser Mida comme un outil de test A/B traditionnel.

Peut-on utiliser un agent de test A/B depuis Claude, ChatGPT ou Cursor ?

Oui. Mida propose un serveur MCP hébergé, c'est-à-dire la méthode standard permettant à un assistant IA d'utiliser un outil externe (voici ce qu'est MCP si le terme vous est inconnu). Vous ajoutez une URL, vous vous connectez avec votre compte Mida dans le navigateur, et votre assistant peut créer des expériences et des objectifs, générer un lien de prévisualisation, lire les résultats et rédiger une conclusion. Aucune clé API à copier-coller.

Les mêmes règles que dans le tableau de bord s'appliquent. Les nouveaux tests sont des brouillons, et tout ce qu'un visiteur verrait attend votre accord dans le chat.

Si vous travaillez avec un agent de code comme Claude Code, Cursor ou Codex, il existe un chemin plus court. Votre agent peut configurer Mida lui-même : il enregistre votre adresse e-mail, vous lui communiquez le code à 6 chiffres reçu dans votre boîte de réception, puis il installe la balise ou le SDK et prépare un premier test en brouillon. Il ne voit jamais de mot de passe, et la clé API est écrite dans votre .env fichier sans être affichée.

npx mida-cli init --email you@example.com --accept-terms
npx mida-cli doctor --wait
npx mida-cli check 1234

La première commande crée le compte, la deuxième attend que de vrais visiteurs arrivent, et la troisième exécute les vérifications de configuration sur un test en brouillon avant que vous ne l'examiniez.

Comment faire un test A/B sur un agent IA lui-même ?

C'est l'autre sens de « agent de test A/B », et la question est légitime si vous déployez des fonctionnalités d'IA. Vous avez modifié le prompt système de votre bot de support, ou changé le modèle qui le fait tourner. Vos évaluations hors ligne sont concluantes. Est-il meilleur pour les personnes qui l'utilisent ?

Les évaluations et les tests A/B répondent à des questions différentes. Une évaluation indique si l'agent traite correctement des cas connus. Un test A/B indique si les vrais utilisateurs s'en sortent mieux avec lui : plus de tickets résolus, plus d'inscriptions terminées, moins de conversations transférées à un humain. Il vous faut les deux, dans cet ordre.

La configuration est la même que pour tout test côté serveur :

1. Choisissez un seul élément à faire varier. Le prompt, le modèle, les outils que l'agent peut appeler ou l'ordre de ses étapes. Un à la fois, sinon vous ne saurez pas ce qui a provoqué le changement.
2. Attribuez chaque utilisateur une seule fois. La même personne doit recevoir la même version à chaque visite. Un tirage à pile ou face à chaque requête montre les deux agents au même utilisateur et brouille les deux groupes.
3. Mesurez un résultat, pas une impression. Choisissez l'action de l'utilisateur qui fait vivre votre activité, comme un ticket résolu ou une commande finalisée, et suivez-la comme objectif principal.
4. Ajoutez des garde-fous. Surveillez ce qu'un « meilleur » agent peut discrètement dégrader : les escalades vers un humain, les remboursements, le coût par conversation.

Avec un SDK Mida, il suffit de quelques lignes dans le code qui appelle votre agent. Cet exemple utilise le SDK Node :

const Mida = require('mida-node')
const mida = new Mida(process.env.MIDA_PROJECT_KEY)

async function answer(userId, question) {
  let variant = null
  try {
    variant = await mida.getExperiment('support-agent-prompt', userId)
  } catch (err) {
    // API error: fall back to the current agent
  }
  const prompt = variant === 'Variant 1' ? NEW_PROMPT : CURRENT_PROMPT
  return runAgent(prompt, question)
}

// Later, when the outcome you care about happens:
await mida.setEvent('ticket_resolved', userId)

Mida maintient chaque utilisateur dans une seule version et indique si la différence de tickets résolus est réelle. En revanche, il n'évalue pas les réponses de l'agent et ne stocke pas ses traces. Gardez vos outils d'évaluation pour cela. Mida répond à la question qui vient ensuite : les utilisateurs s'en sont-ils mieux sortis ?

Les tests côté serveur sont inclus dans le plan gratuit, avec des SDK pour Node, Python, Go, PHP, Ruby et bien d'autres. Si cette notion est nouvelle pour vous, voici en quoi les tests côté serveur et côté client diffèrent.

De quel trafic un agent de test A/B a-t-il besoin ?

Du même que pour n'importe quel test A/B. Un agent rend un test plus rapide à construire. Il ne rend pas un petit échantillon plus instructif.

Ce qui détermine la réponse, c'est le nombre de conversions recueillies par chaque variante et l'ampleur du changement que vous cherchez à détecter. Une page qui reçoit quelques centaines de visiteurs par mois ne permettra pas de trancher sur un petit ajustement de texte dans un délai raisonnable, avec ou sans IA.

Si votre trafic est faible :

• Testez des changements plus importants. Une nouvelle offre ou une section d'en-tête repensée se détecte plus facilement qu'un libellé de bouton.
• Testez là où se trouve le trafic. Votre page la plus fréquentée avec un objectif clair vaut mieux qu'une page profonde avec une idée parfaite.
• Lancez les tests sur des semaines complètes. Les visiteurs en semaine et le week-end se comportent différemment : arrêtez donc le test à la fin d'une semaine.
• Utilisez un prétest pour le reste. Synthetic Research vous donne en quelques minutes un retour indicatif d'un panel IA. C'est utile pour trier un backlog. Ce n'est pas la preuve qu'une variante l'emporte.

Pour vérifier vos propres chiffres, utilisez le contrôle du trafic ou le calculateur de taille d'échantillon, ou lisez le trafic nécessaire pour réaliser des tests A/B.

Comment essayer un agent de test A/B sur votre propre site ?

Trois façons de commencer, selon votre manière de travailler.

• Dans le tableau de bord. Créez un compte gratuit, installez la balise, puis saisissez votre première demande dans l'Agent sur l'écran d'accueil. L'Agent est disponible sur tous les comptes, y compris le plan gratuit.
• Dans votre assistant IA. Ajoutez le serveur MCP de Mida à Claude, ChatGPT ou Cursor et demandez-lui de lister vos expériences.
• Dans votre terminal. Collez le prompt de configuration dans votre agent de code et faites-lui lire le code reçu dans votre boîte de réception.

Mida est gratuit jusqu'à 100 000 Monthly Tracked Users, sans carte bancaire. Consultez les tarifs pour voir ce qu'ajoute le plan payant, et le journal des modifications pour découvrir les nouveautés de ce mois-ci.

FAQ

Q : Qu'est-ce qu'un agent de test A/B ?R : Un agent de test A/B est un système d'IA qui réalise les étapes de travail d'une expérience au sein d'un outil de test. Il rédige l'hypothèse, construit la variante, vérifie la configuration et lit le résultat par rapport au contrôle, tandis qu'une personne valide ce qui est mis en ligne.

Q : Un agent IA peut-il lancer un test A/B tout seul ?R : Il peut faire l'essentiel du travail, mais il ne doit pas décider seul. Dans Mida, chaque test créé par un agent est un brouillon, et le lancement, la mise en pause et la diffusion d'une variante gagnante nécessitent chacun la confirmation d'une personne. L'agent prépare la décision, et c'est vous qui la prenez.

Q : Un agent de test A/B remplace-t-il mon outil de test A/B ?R : Non. L'agent travaille via un outil de test, qui continue d'attribuer les visiteurs, de diffuser les variantes et de réaliser les calculs statistiques. L'agent de Mida fait partie de Mida : le test qu'il construit s'exécute donc sur la même plateforme qu'un test que vous créez à la main.

Q : Un agent de test A/B, est-ce la même chose que tester en A/B un agent IA ?R : Non. Le premier est une IA qui mène des expériences pour vous. Le second est une expérience menée sur un produit d'IA, par exemple la comparaison de deux prompts pour un bot de support. Mida couvre les deux : l'Agent Mida s'occupe du premier, et les SDK côté serveur du second.

Q : Quels assistants IA fonctionnent avec Mida ?R : Tout assistant compatible avec MCP, dont Claude, ChatGPT, Cursor et VS Code. Les agents de code comme Claude Code, Cursor, Codex et Windsurf peuvent aussi utiliser directement la CLI et l'API de Mida.

Q : Combien de temps un test créé par un agent doit-il durer ?R : Autant qu'un test créé à la main. Prévoyez au moins une semaine complète et poursuivez jusqu'à ce que chaque variante compte assez de conversions pour être fiable. Mida ne signalera pas de variante gagnante avant 7 jours et 25 conversions dans chaque variante.

Q : L'agent de test A/B de Mida est-il gratuit ?R : L'Agent Mida, le serveur MCP, la CLI, l'API et les SDK sont tous disponibles sur le plan gratuit, qui couvre jusqu'à 100 000 Monthly Tracked Users. Les workflows sont également inclus, avec une limite plus élevée sur les plans payants. Les Routines planifiées font partie des plans payants.

Lectures associées

• Comment utiliser des agents IA pour lancer un test A/B
• Comment ne plus surveiller vos tests A/B en permanence : 3 vérifications que l'agent Mida peut effectuer pour vous
• Tests A/B avec l'IA : comment fonctionne l'expérimentation assistée par IA
• Qu'est-ce que le MCP (Model Context Protocol) ?
• ChatGPT pour les tests A/B