Agente de teste A/B: o que é, o que faz e como funciona o da Mida

Resposta rápida

Um agente de teste A/B é um sistema de IA que faz o trabalho prático de um experimento: ele redige a hipótese, cria a variante, verifica a configuração e lê o resultado em comparação com o controle. Uma pessoa ainda aprova o que os visitantes veem. O agente de teste A/B da Mida faz isso dentro do painel da Mida e também funciona a partir do Claude, do ChatGPT, do Cursor ou de um agente de código no seu terminal. Todo teste que ele cria começa como rascunho, e nada vai ao ar sem o seu sim.

A expressão tem ainda um segundo sentido: rodar um teste A/B em um agente de IA, para ver se um novo prompt ou modelo tem melhor desempenho com usuários reais. Este post cobre os dois.

Principais conclusões

• Um agente de teste A/B assume a criação, o QA e a leitura. Você fica com a hipótese, a decisão de lançar e a decisão de publicar o vencedor.
• O agente da Mida funciona em quatro lugares: o painel, um servidor MCP para assistentes de chat, uma CLI para agentes de código e SDKs para testes que rodam no seu próprio código.
• Um agente torna os testes mais baratos de rodar. Ele não muda a quantidade de tráfego de que um teste precisa para você poder confiar nele.

A maioria dos testes A/B não vence. No benchmark público da Mida, com testes feitos entre agosto de 2023 e agosto de 2026, 10,1% produziram um vencedor com 95% de confiança e 75% terminaram sem diferença.

Isso é normal, e é por isso que o custo de cada teste importa tanto. Se um teste leva duas semanas de design, tempo de desenvolvedor e QA antes mesmo de começar, você faz só um punhado de tentativas por ano. Se um teste leva uma tarde, você tem muito mais chances de encontrar o que funciona.

Esse é o papel de um agente de teste A/B. Ele não faz suas ideias vencerem com mais frequência. Ele deixa cada tentativa mais barata e pega os erros de configuração que estragam resultados sem ninguém perceber.

O que é um agente de teste A/B?

Um agente de teste A/B é uma IA que consegue agir dentro da sua ferramenta de testes, e não apenas falar sobre testes. Você dá a ele um objetivo em linguagem simples, como "testar um título mais curto na página de preços", e ele usa os próprios controles da ferramenta para criar o experimento, definir a segmentação, associar uma meta e preparar uma prévia.

Essa é a diferença em relação a pedir ideias de teste a um chatbot. Um chatbot entrega uma lista. Um agente entrega um rascunho de teste que você pode visualizar e lançar.

As pessoas usam a expressão de duas maneiras:

• Um agente que roda testes A/B para você. A IA cria, verifica e interpreta experimentos no seu site ou app. É sobre isso que trata a maior parte deste post.
• Testar A/B um agente de IA. Você criou um bot de suporte ou um assistente de vendas e quer saber se um novo prompt ou modelo tem melhor desempenho com usuários reais. Isso é abordado mais adiante.

O que o agente de teste A/B da Mida faz?

Quatro tarefas, na ordem em que um teste acontece.

Sob esse mesmo nome há algumas peças lançadas ao longo de 2026. Veja para que serve cada uma.

Você não precisa de todos. A maioria das equipes começa com o Agent no dashboard e adiciona o resto quando surge a necessidade.

Como funciona um agente de teste A/B, passo a passo?

Veja um teste do início ao fim, com o Agent fazendo o trabalho pesado.

1. Comece de uma ideia ou peça uma. Digite o que você quer testar ou pergunte "o que devo testar a seguir no meu site?". O Agent analisa suas páginas, seus testes anteriores e as metas que você já acompanha antes de sugerir qualquer coisa.
2. Ele cria o rascunho do teste. Você recebe uma hipótese, uma variante, a segmentação de páginas, um público e uma meta principal. Tudo fica salvo como rascunho, então nada mudou no seu site ainda.
3. Ele confere o próprio trabalho. O QA carrega o controle e a variante como um visitante faria, no desktop e no celular, e aponta o que está errado: um seletor que não corresponde a nada, uma meta que não consegue disparar, uma segmentação que deixaria de fora visitantes que chegam com parâmetros UTM.
4. Você vê a prévia e aprova. Você abre o link de prévia, olha a mudança na sua página real e decide. Lançar é um botão que você aperta ou um sim que você dá no chat. O Agent não pode fazer essa parte por você.
5. Ele acompanha o teste. Uma routine ou um workflow pode verificar um teste no ar de forma programada e avisar quando algo parecer errado, como uma divisão de tráfego que saiu do previsto ou uma meta que parou de registrar.
6. Ele lê o resultado. Pergunte "este teste está pronto para ser encerrado?" e ele responde com os mesmos números que você vê na página de resultados, e depois escreve um resumo do que aconteceu para que o aprendizado não se perca.

Se você quer a versão mais longa desse ciclo, com as etapas que você nunca deve delegar, veja como usar agentes de IA para rodar um teste A/B.

Com quais dados o agente trabalha?

Os seus. O Agent lê os experimentos, as metas, os resultados e as configurações do seu projeto na Mida, além do contexto de negócio que você informou na configuração: o que você vende, para quem vende e o que conta como conversão. No painel lateral do dashboard, ele também sabe em qual página você está, então "este teste está pronto para ser encerrado?" significa o teste que está na sua frente.

Ao ler um resultado, ele usa a estatística da Mida e não a própria aritmética. Isso importa porque, se você pedir a um modelo de linguagem para julgar duas taxas de conversão, ele vai chutar sem cerimônia. A Mida informa a chance de uma variante superar a original nos testes bayesianos, ou um valor-p nos frequentistas, e o Agent fala usando aquele que o seu teste adota.

Vale conhecer duas proteções:

• Sem vencedores precoces. O dashboard só sinaliza "Vencedor pronto" depois que o teste rodou por pelo menos 7 dias e tem pelo menos 25 conversões em cada variante. Isso protege você do erro clássico de espiar os resultados e parar o teste cedo demais.
• Uma checagem de saúde antes do veredito. Todo teste traz um status de proporção de amostra e uma linha de guardrails. Se a divisão de tráfego estiver quebrada, o resultado não é confiável, e isso aparece ao lado dos números.

O que continua com humanos?

As partes em que errar sai caro. O Agent investiga e cria rascunhos. Uma pessoa decide o que os visitantes veem.

Alguns controles reforçam isso:

• Rascunhos por padrão. Um teste criado pelo Agent, pelo servidor MCP ou pela CLI continua como rascunho até que uma pessoa o lance.
• Aprovações para equipes. Colaboradores podem criar testes e pedir aprovação para lançá-los. As mudanças propostas pelo Agent chegam com os motivos e uma classificação de risco, para que quem aprova saiba exatamente ao que está dizendo sim.
• Conexões somente leitura. Ao conectar um assistente externo, você pode escolher somente leitura. Assim, ele consegue ver experimentos e resultados, mas não pode criar, alterar nem excluir nada.
• Um botão de desligar. Um Owner ou Admin pode desativar os recursos de IA para toda a empresa e continuar usando a Mida como uma ferramenta tradicional de teste A/B.

Dá para usar um agente de teste A/B no Claude, no ChatGPT ou no Cursor?

Sim. A Mida mantém um servidor MCP hospedado, que é a forma padrão de um assistente de IA usar uma ferramenta externa (veja o que é MCP se o termo for novidade). Você adiciona uma URL, entra com sua conta da Mida no navegador e seu assistente já pode criar experimentos e metas, gerar um link de pré-visualização, ler resultados e escrever uma conclusão. Não é preciso colar nenhuma chave de API.

Valem as mesmas regras do painel. Novos testes são rascunhos, e tudo o que um visitante veria espera pelo seu sim no chat.

Se você trabalha com um agente de código, como Claude Code, Cursor ou Codex, há um caminho mais curto. Seu agente pode configurar a Mida sozinho: ele registra seu e-mail, você informa o código de 6 dígitos que chegou na sua caixa de entrada, e ele instala a tag ou o SDK e prepara um primeiro teste em rascunho. Ele nunca vê uma senha, e a chave de API é gravada no seu .env arquivo e não é exibida.

npx mida-cli init --email you@example.com --accept-terms
npx mida-cli doctor --wait
npx mida-cli check 1234

O primeiro comando cria a conta, o segundo espera até que visitantes reais comecem a chegar, e o terceiro executa as verificações de configuração em um teste em rascunho antes de você olhar.

Como fazer um teste A/B do próprio agente de IA?

Este é o outro sentido de "agente de teste A/B", e é uma pergunta justa se você lança recursos de IA. Você mudou o prompt de sistema do seu bot de suporte ou trocou o modelo por trás dele. Seus evals offline passam. Mas ele é melhor para quem o usa?

Evals e testes A/B respondem a perguntas diferentes. Um eval diz se o agente acerta casos conhecidos. Um teste A/B diz se usuários reais se saem melhor com ele: mais tickets resolvidos, mais cadastros concluídos, menos conversas repassadas a uma pessoa. Você quer os dois, nessa ordem.

A configuração é a mesma de qualquer teste server-side:

1. Escolha uma única coisa para variar. O prompt, o modelo, as ferramentas que o agente pode chamar ou a ordem das etapas. Uma por vez, senão você não vai saber o que causou a mudança.
2. Atribua cada usuário uma só vez. A mesma pessoa deve receber a mesma versão em todas as visitas. Um cara ou coroa a cada requisição mostra os dois agentes para o mesmo usuário e contamina os dois grupos.
3. Meça um resultado, não uma impressão. Escolha a ação do usuário que paga as contas, como um ticket resolvido ou um pedido concluído, e acompanhe como meta principal.
4. Adicione métricas de proteção. Observe o que um agente "melhor" pode piorar sem ninguém notar: escalonamentos para uma pessoa, reembolsos, custo por conversa.

Com um SDK da Mida, bastam algumas linhas no código que chama seu agente. Este exemplo usa o SDK para Node:

const Mida = require('mida-node')
const mida = new Mida(process.env.MIDA_PROJECT_KEY)

async function answer(userId, question) {
  let variant = null
  try {
    variant = await mida.getExperiment('support-agent-prompt', userId)
  } catch (err) {
    // API error: fall back to the current agent
  }
  const prompt = variant === 'Variant 1' ? NEW_PROMPT : CURRENT_PROMPT
  return runAgent(prompt, question)
}

// Later, when the outcome you care about happens:
await mida.setEvent('ticket_resolved', userId)

A Mida mantém cada usuário em uma única versão e mostra se a diferença em tickets resolvidos é real. O que ela não faz é avaliar as respostas do agente nem armazenar os traces dele. Use suas ferramentas de eval para isso. A Mida responde à pergunta que vem depois: os usuários se saíram melhor?

Os testes server-side estão no plano gratuito, com SDKs para Node, Python, Go, PHP, Ruby e mais. Se a ideia é nova para você, veja como os testes server-side e client-side se diferenciam.

De quanto tráfego um agente de teste A/B precisa?

O mesmo de qualquer teste A/B. Um agente deixa o teste mais rápido de montar. Ele não faz uma amostra pequena dizer mais.

O que define a resposta é quantas conversões cada variante acumula e quão grande é a mudança que você quer detectar. Uma página com algumas centenas de visitantes por mês não vai resolver um pequeno ajuste de texto em um prazo razoável, com ou sem IA.

Se o seu tráfego é baixo:

• Teste mudanças maiores. Uma nova oferta ou um hero reformulado é mais fácil de detectar do que o texto de um botão.
• Teste onde está o tráfego. Sua página mais movimentada com uma meta clara vale mais do que uma página profunda com a ideia perfeita.
• Execute por semanas completas. Visitantes de dias úteis e de fins de semana se comportam de forma diferente, então encerre no limite de uma semana.
• Use um pré-teste para o resto. O Synthetic Research dá um feedback direcional de um painel de IA em minutos. Ele é útil para organizar um backlog. Não é evidência de que uma variante vence.

Para conferir seus próprios números, use a verificação de tráfego ou a calculadora de tamanho de amostra, ou leia quanto tráfego você precisa para fazer testes A/B.

Como testar um agente de testes A/B no seu próprio site?

Três caminhos, de acordo com o jeito como você gosta de trabalhar.

• No dashboard. Crie uma conta gratuita, instale a tag e digite sua primeira solicitação no Agent na tela inicial. O Agent está disponível em todas as contas, inclusive no plano gratuito.
• No seu assistente de IA. Adicione o servidor MCP da Mida ao Claude, ChatGPT ou Cursor e peça para ele listar seus experimentos.
• No seu terminal. Cole o prompt de configuração no seu agente de código e leia para ele o código que chegou na sua caixa de entrada.

A Mida é gratuita até 100.000 Monthly Tracked Users, sem cartão de crédito. Veja os preços para saber o que o plano pago acrescenta e o changelog para ver o que foi lançado neste mês.

Perguntas frequentes

P: O que é um agente de testes A/B?R: Um agente de testes A/B é um sistema de IA que executa as etapas de trabalho de um experimento dentro de uma ferramenta de testes. Ele redige a hipótese, cria a variante, confere a configuração e lê o resultado em comparação com o controle, enquanto uma pessoa aprova o que vai ao ar.

P: Um agente de IA pode rodar um teste A/B sozinho?R: Ele pode fazer a maior parte do trabalho, mas não deve decidir sozinho. Na Mida, todo teste criado por um agente é um rascunho, e lançar, pausar e publicar um vencedor exigem a confirmação de uma pessoa. O agente prepara a decisão e você a toma.

P: Um agente de testes A/B substitui minha ferramenta de testes A/B?R: Não. O agente trabalha por meio de uma ferramenta de testes, que continua atribuindo os visitantes, exibindo as variantes e fazendo a estatística. O agente da Mida faz parte da Mida, então o teste que ele cria roda na mesma plataforma que um teste criado manualmente.

P: Um agente de testes A/B é a mesma coisa que fazer teste A/B de um agente de IA?R: Não. O primeiro é uma IA que roda experimentos para você. O segundo é um experimento em um produto de IA, como comparar dois prompts de um bot de suporte. A Mida faz os dois: o Mida Agent cobre o primeiro, e os SDKs server-side cobrem o segundo.

P: Quais assistentes de IA funcionam com a Mida?R: Qualquer assistente que ofereça suporte a MCP, incluindo Claude, ChatGPT, Cursor e VS Code. Agentes de código como Claude Code, Cursor, Codex e Windsurf também podem usar a CLI e a API da Mida diretamente.

P: Por quanto tempo um teste criado por agente deve rodar?R: O mesmo tempo de um teste feito manualmente. Planeje pelo menos uma semana completa e continue até que cada variante tenha conversões suficientes para dar confiança. A Mida não vai indicar um vencedor antes de 7 dias e 25 conversões em cada variante.

P: O agente de testes A/B da Mida é gratuito?R: O Mida Agent, o servidor MCP, a CLI, a API e os SDKs estão todos disponíveis no plano gratuito, que cobre até 100.000 Monthly Tracked Users. Os workflows também estão incluídos, com um limite maior nos planos pagos. As Scheduled Routines fazem parte dos planos pagos.

Leitura relacionada

• Como usar agentes de IA para rodar um teste A/B
• Como parar de ficar de babá dos seus testes A/B: 3 verificações que o Mida Agent pode fazer por você
• Teste A/B com IA: como funciona a experimentação com inteligência artificial
• O que é MCP (Model Context Protocol)?
• ChatGPT para teste A/B