Agente de test A/B: qué es, qué hace y cómo funciona el de Mida

Respuesta rápida

Un agente de test A/B es un sistema de IA que se encarga del trabajo práctico de un experimento: redacta la hipótesis, crea la variante, revisa la configuración e interpreta el resultado frente al control. Una persona sigue aprobando lo que ven los visitantes. El agente de test A/B de Mida hace todo esto dentro del panel de Mida, y también funciona desde Claude, ChatGPT, Cursor o un agente de programación en tu terminal. Cada test que crea empieza como borrador, y nada se publica sin tu visto bueno.

La expresión tiene también un segundo significado: ejecutar un test A/B sobre un agente de IA, para ver si un prompt o un modelo nuevo funciona mejor con usuarios reales. Este artículo cubre ambos.

Conclusiones clave

• Un agente de test A/B se encarga de la creación, el QA y la lectura de resultados. Tú te quedas con la hipótesis, la decisión de lanzar y la decisión de publicar el ganador.
• El agente de Mida funciona en cuatro lugares: el panel, un servidor MCP para asistentes de chat, una CLI para agentes de programación y SDKs para tests que se ejecutan en tu propio código.
• Un agente hace que ejecutar tests sea más barato. No cambia cuánto tráfico necesita un test para que puedas fiarte de él.

La mayoría de los tests A/B no ganan. En el benchmark público de Mida con tests realizados entre agosto de 2023 y agosto de 2026, el 10,1 % produjo un ganador con un 95 % de confianza y el 75 % salió plano.

Es normal, y por eso el coste de cada test importa tanto. Si un test requiere dos semanas de diseño, tiempo de desarrollo y QA antes de empezar, al año tendrás un puñado de intentos. Si un test lleva una tarde, tendrás muchos más intentos para encontrar el que funciona.

Ese es el trabajo de un agente de test A/B. No hace que tus ideas ganen más a menudo. Hace que cada intento sea más barato y detecta los errores de configuración que arruinan los resultados sin que te des cuenta.

¿Qué es un agente de test A/B?

Un agente de test A/B es una IA que puede actuar dentro de tu herramienta de testing, no solo hablar de testing. Le das un objetivo con palabras sencillas, como "probar un titular más corto en la página de precios", y usa los controles de la propia herramienta para crear el experimento, definir la segmentación, asociar un objetivo y preparar una vista previa.

Esa es la diferencia con pedirle ideas de tests a un chatbot. Un chatbot te da una lista. Un agente te da un test en borrador que puedes previsualizar y lanzar.

La expresión se usa de dos maneras:

• Un agente que ejecuta tests A/B por ti. La IA crea, revisa e interpreta experimentos en tu sitio web o app. De esto trata la mayor parte de este artículo.
• Hacer un test A/B a un agente de IA. Has creado un bot de soporte o un asistente de ventas y quieres saber si un prompt o un modelo nuevo funciona mejor con usuarios reales. Lo tratamos más abajo.

¿Qué hace el agente de test A/B de Mida?

Cuatro tareas, en el orden en que ocurre un test.

Bajo ese único nombre hay varias piezas que se lanzaron a lo largo de 2026. Esto es para lo que sirve cada una.

No necesitas todos. La mayoría de los equipos empiezan con el Agent en el dashboard y añaden el resto cuando lo necesitan.

¿Cómo funciona un agente de test A/B, paso a paso?

Aquí tienes un test de principio a fin, con el Agent haciendo el trabajo pesado.

1. Empieza con una idea o pide una. Escribe lo que quieres probar o pregunta "¿qué debería probar ahora en mi sitio?". El Agent revisa tus páginas, tus tests anteriores y los objetivos que ya mides antes de sugerir nada.
2. Redacta el test. Obtienes una hipótesis, una variante, la segmentación de páginas, una audiencia y un objetivo principal. Se guarda como borrador, así que todavía no ha cambiado nada en tu sitio.
3. Revisa su propio trabajo. El control de calidad carga el control y la variante como lo haría un visitante, en escritorio y en móvil, y señala lo que falla: un selector que no coincide con nada, un objetivo que no puede dispararse, una segmentación que excluiría a visitantes que llegan con parámetros UTM.
4. Tú ves la vista previa y apruebas. Abres el enlace de vista previa, miras el cambio en tu página real y decides. Lanzar es un botón que pulsas o un sí que das en el chat. El Agent no puede hacer esa parte por ti.
5. Vigila el test. Una routine o un workflow puede revisar un test en vivo de forma programada y avisarte cuando algo parece ir mal, como un reparto de tráfico que se ha desviado o un objetivo que dejó de registrarse.
6. Lee el resultado. Pregunta "¿ya se puede dar por concluido este test?" y responderá a partir de los mismos números que ves en la página de resultados, y luego redactará lo que pasó para que no se pierda el aprendizaje.

Si quieres la versión más larga de este ciclo, con las etapas que nunca deberías delegar, consulta cómo usar agentes de IA para ejecutar un test A/B.

¿Con qué datos trabaja el agente?

Con los tuyos. El Agent lee los experimentos, objetivos, resultados y ajustes de tu proyecto de Mida, además del contexto de negocio que diste al configurarlo: qué vendes, a quién se lo vendes y qué cuenta como conversión. En el panel lateral del dashboard también sabe en qué página estás, así que "¿ya se puede dar por concluido este test?" se refiere al test que tienes delante.

Cuando lee un resultado, usa las estadísticas de Mida y no su propia aritmética. Eso importa porque, si le pides a un modelo de lenguaje que juzgue dos tasas de conversión, adivinará sin problema. Mida informa de la probabilidad de que una variante supere al original en los tests bayesianos, o de un valor p en los frecuentistas, y el Agent habla en el que use tu test.

Conviene conocer dos salvaguardas:

• Sin ganadores prematuros. El dashboard solo marca "Winner ready" cuando un test ha estado en marcha al menos 7 días y tiene al menos 25 conversiones en cada variante. Eso te protege del error clásico de mirar los resultados y detener el test antes de tiempo.
• Una revisión de salud antes del veredicto. Cada test incluye un estado de sample ratio y una fila de guardrails. Si el reparto del tráfico está roto, el resultado no es fiable, y eso aparece junto a los números.

¿Qué sigue siendo humano?

Las partes en las que equivocarse sale caro. El Agent investiga y redacta. Una persona decide lo que ven los visitantes.

Varios controles respaldan esto:

• Borradores por defecto. Un test creado por el Agent, el servidor MCP o la CLI es un borrador hasta que una persona lo lanza.
• Aprobaciones para equipos. Los colaboradores pueden crear tests y solicitar aprobación para lanzarlos. Los cambios que propone el Agent llegan con sus motivos y una valoración de riesgo, para que quien aprueba sepa a qué está diciendo que sí.
• Conexiones de solo lectura. Cuando conectas un asistente externo, puedes elegir solo lectura. Así podrá ver experimentos y resultados, pero no crear, modificar ni eliminar nada.
• Un interruptor de apagado. Un Owner o un Admin puede desactivar las funciones de IA para toda la empresa y seguir usando Mida como una herramienta tradicional de tests A/B.

¿Puedes usar un agente de tests A/B desde Claude, ChatGPT o Cursor?

Sí. Mida ofrece un servidor MCP alojado, que es la forma estándar en que un asistente de IA usa una herramienta externa (aquí te explicamos qué es MCP si el término es nuevo para ti). Añades una URL, inicias sesión con tu cuenta de Mida en el navegador y tu asistente puede crear experimentos y objetivos, generar un enlace de vista previa, leer resultados y redactar una conclusión. No tienes que pegar ninguna clave de API.

Se aplican las mismas reglas que en el panel. Los tests nuevos son borradores, y todo lo que vería un visitante espera tu sí en el chat.

Si trabajas con un agente de programación como Claude Code, Cursor o Codex, hay un camino más corto. Tu agente puede configurar Mida por sí solo: registra tu email, tú le dictas el código de 6 dígitos de tu bandeja de entrada, e instala la etiqueta o el SDK y prepara un primer test en borrador. Nunca ve una contraseña, y la clave de API se escribe en tu .env archivo y no se muestra en pantalla.

npx mida-cli init --email you@example.com --accept-terms
npx mida-cli doctor --wait
npx mida-cli check 1234

El primer comando crea la cuenta, el segundo espera a que lleguen visitantes reales y el tercero ejecuta las comprobaciones de configuración en un test en borrador antes de que lo revises.

¿Cómo se hace un test A/B de un agente de IA?

Este es el otro significado de "agente de tests A/B", y es una pregunta legítima si lanzas funciones de IA. Cambiaste el prompt de sistema de tu bot de soporte o sustituiste el modelo que lo impulsa. Tus evaluaciones offline pasan. ¿Es mejor para las personas que lo usan?

Las evaluaciones y los tests A/B responden a preguntas distintas. Una evaluación te dice si el agente acierta en casos conocidos. Un test A/B te dice si a los usuarios reales les va mejor con él: más tickets resueltos, más registros completados, menos chats derivados a una persona. Necesitas ambos, en ese orden.

La configuración es la misma que en cualquier test del lado del servidor:

1. Elige una sola cosa que variar. El prompt, el modelo, las herramientas que el agente puede invocar o el orden de sus pasos. Una a la vez, o no sabrás qué provocó el cambio.
2. Asigna a cada usuario una sola vez. La misma persona debe recibir la misma versión en cada visita. Lanzar una moneda en cada solicitud muestra a un usuario ambos agentes y contamina los dos grupos.
3. Mide un resultado, no una impresión. Elige la acción del usuario que paga las facturas, como un ticket resuelto o un pedido completado, y mídela como objetivo principal.
4. Añade métricas de control. Vigila lo que un agente "mejor" puede empeorar en silencio: derivaciones a una persona, reembolsos, coste por conversación.

Con un SDK de Mida, son unas pocas líneas en el código que llama a tu agente. Este ejemplo usa el SDK de Node:

const Mida = require('mida-node')
const mida = new Mida(process.env.MIDA_PROJECT_KEY)

async function answer(userId, question) {
  let variant = null
  try {
    variant = await mida.getExperiment('support-agent-prompt', userId)
  } catch (err) {
    // API error: fall back to the current agent
  }
  const prompt = variant === 'Variant 1' ? NEW_PROMPT : CURRENT_PROMPT
  return runAgent(prompt, question)
}

// Later, when the outcome you care about happens:
await mida.setEvent('ticket_resolved', userId)

Mida mantiene a cada usuario en una misma versión e indica si la diferencia en tickets resueltos es real. Lo que no hace es puntuar las respuestas del agente ni almacenar sus trazas. Para eso, conserva tus herramientas de evaluación. Mida responde a la pregunta que viene después: ¿les fue mejor a los usuarios?

Los tests del lado del servidor están en el plan gratuito, con SDKs para Node, Python, Go, PHP, Ruby y más. Si la idea es nueva para ti, aquí tienes en qué se diferencian los tests del lado del servidor y del lado del cliente.

¿Cuánto tráfico necesita un agente de tests A/B?

Lo mismo que cualquier test A/B. Un agente hace que un test se construya más rápido. No hace que una muestra pequeña te diga más.

Lo que decide la respuesta es cuántas conversiones reúne cada variante y qué tan grande es el cambio que intentas detectar. Una página con unos cientos de visitantes al mes no resolverá un pequeño ajuste de texto en un plazo razonable, con IA o sin ella.

Si tu tráfico es bajo:

• Prueba cambios más grandes. Una oferta nueva o un hero rediseñado es más fácil de detectar que el texto de un botón.
• Prueba donde está el tráfico. Tu página con más visitas y un objetivo claro vale más que una página profunda con una idea perfecta.
• Ejecuta semanas completas. Los visitantes entre semana y los del fin de semana se comportan de forma distinta, así que detén el test al cierre de una semana.
• Usa un pretest para el resto. Synthetic Research te da feedback orientativo de un panel de IA en minutos. Es útil para ordenar un backlog. No es evidencia de que una variante gane.

Para comprobar tus propias cifras, usa la comprobación de tráfico o la calculadora de tamaño de muestra, o lee cuánto tráfico necesitas para hacer tests A/B.

¿Cómo pruebas un agente de tests A/B en tu propio sitio?

Tres formas de empezar, según dónde prefieras trabajar.

• En el panel. Crea una cuenta gratuita, instala la etiqueta y escribe tu primera petición en el Agent de la pantalla de inicio. El Agent está disponible en todas las cuentas, incluido el plan gratuito.
• En tu asistente de IA. Añade el servidor MCP de Mida a Claude, ChatGPT o Cursor y pídele que liste tus experimentos.
• En tu terminal. Pega el prompt de configuración en tu agente de programación y léele el código de tu bandeja de entrada.

Mida es gratis hasta 100.000 Monthly Tracked Users, sin tarjeta de crédito. Consulta los precios para ver qué añade el plan de pago, y el changelog para ver qué se ha lanzado este mes.

Preguntas frecuentes

P: ¿Qué es un agente de tests A/B?R: Un agente de tests A/B es un sistema de IA que realiza los pasos de trabajo de un experimento dentro de una herramienta de testing. Redacta la hipótesis, crea la variante, revisa la configuración y lee el resultado frente al control, mientras una persona aprueba lo que se publica.

P: ¿Puede un agente de IA ejecutar un test A/B por sí solo?R: Puede hacer la mayor parte del trabajo, pero no debería decidir solo. En Mida, todo test que crea un agente es un borrador, y lanzar, pausar y servir un ganador requieren la confirmación de una persona. El agente prepara la decisión y tú la tomas.

P: ¿Un agente de tests A/B sustituye a mi herramienta de tests A/B?R: No. El agente trabaja a través de una herramienta de testing, que sigue asignando visitantes, sirviendo las variantes y haciendo la estadística. El agente de Mida forma parte de Mida, así que el test que crea se ejecuta en la misma plataforma que uno creado a mano.

P: ¿Un agente de tests A/B es lo mismo que hacer tests A/B a un agente de IA?R: No. El primero es una IA que ejecuta experimentos por ti. El segundo es un experimento sobre un producto de IA, como comparar dos prompts de un bot de soporte. Mida hace ambos: el Mida Agent cubre el primero y los SDK de servidor cubren el segundo.

P: ¿Qué asistentes de IA funcionan con Mida?R: Cualquier asistente compatible con MCP, incluidos Claude, ChatGPT, Cursor y VS Code. Los agentes de programación como Claude Code, Cursor, Codex y Windsurf también pueden usar directamente la CLI y la API de Mida.

P: ¿Cuánto tiempo debe ejecutarse un test creado por un agente?R: Tanto como uno creado a mano. Planifica al menos una semana completa y sigue hasta que cada variante tenga suficientes conversiones para fiarte del resultado. Mida no marcará un ganador antes de 7 días y 25 conversiones en cada variante.

P: ¿El agente de tests A/B de Mida es gratis?R: El Mida Agent, el servidor MCP, la CLI, la API y los SDK están disponibles en el plan gratuito, que cubre hasta 100.000 Monthly Tracked Users. Los workflows también están incluidos, con un límite mayor en los planes de pago. Las Routines programadas forman parte de los planes de pago.

Lecturas relacionadas

• Cómo usar agentes de IA para ejecutar un test A/B
• Cómo dejar de vigilar tus tests A/B: 3 comprobaciones que el Mida Agent puede hacer por ti
• Tests A/B con IA: cómo funciona la experimentación con inteligencia artificial
• ¿Qué es MCP (Model Context Protocol)?
• ChatGPT para tests A/B