¿Cómo calcular la potencia estadística en los tests A/B?
Respuesta rápida
La potencia estadística de un test A/B se calcula a partir de cuatro datos: la tasa de conversión base, el efecto mínimo detectable (la mejora más pequeña que quieres detectar), el nivel de significancia (normalmente 0,05) y el nivel de potencia deseado (normalmente 0,8 u 80%). Con una potencia del 80%, tu test tiene un 20% de probabilidad de pasar por alto un efecto real. Subir la potencia al 90% requiere un tamaño de muestra proporcionalmente mayor.
Conclusiones clave
- El análisis de potencia debe hacerse antes de lanzar el test, no después: los cálculos de potencia a posteriori sobre tests ya completados son estadísticamente engañosos.
- Un efecto mínimo detectable mayor (por ejemplo, detectar una mejora relativa del 20% en lugar del 5%) reduce drásticamente el tamaño de muestra necesario y la duración del test.
- Si no puedes alcanzar una potencia del 80% con el tráfico disponible en un plazo razonable, considera ampliar el umbral del MDE o testear páginas con más volumen y tasas de conversión base más altas.
El test A/B es una técnica potente para optimizar las conversiones y los ingresos. Pero sin un buen análisis de potencia estadística, tus tests pueden no detectar diferencias reales entre variantes. Una potencia estadística baja provoca más errores de Tipo II, en los que aceptas incorrectamente la hipótesis nula y pierdes las mejoras de variantes que sí funcionan mejor.
Este artículo ofrece una visión completa de cómo calcular e interpretar la potencia estadística para planificar tests A/B sólidos.
Tanto si estás empezando con los tests A/B como si buscas optimizar tu metodología, esta guía te dará el conocimiento para calcular la potencia con precisión y asegurarte de que tus tests detecten de forma fiable las diferencias reales entre variantes.
¿Qué es la potencia estadística?
La potencia estadística indica la probabilidad de que un test detecte un efecto o una diferencia real, si realmente existe. Se define como la probabilidad de rechazar correctamente la hipótesis nula cuando la hipótesis alternativa es verdadera.
La hipótesis nula (H0) asume que no hay diferencia entre tu control y la variante. La hipótesis alternativa (H1) es lo que quieres demostrar: que existe una diferencia.
La potencia se representa con un valor entre 0 y 1. Una potencia de 0,8 significa que hay un 80% de probabilidad de rechazar correctamente la hipótesis nula y detectar el tamaño del efecto especificado en tu hipótesis alternativa. Por eso verás a menudo 0,8 u 80% como el nivel de potencia recomendado.
Una potencia baja significa que es más probable que pases por alto mejoras reales de las variantes positivas. Una potencia alta te da más confianza para descartar falsos positivos y detectar solo efectos verdaderos.
Errores de Tipo I y Tipo II en los tests A/B
En las pruebas de hipótesis pueden darse dos tipos de errores:
Error de Tipo I
La probabilidad de rechazar erróneamente la hipótesis nula cuando en realidad es verdadera. También se conoce como "falso positivo": detectar una diferencia cuando no la hay.
Error de Tipo II
La probabilidad de no rechazar la hipótesis nula cuando la hipótesis alternativa es verdadera. También se conoce como "falso negativo": pasar por alto una diferencia real entre variantes.
La tasa de errores de Tipo I la fija tu umbral de significancia estadística (normalmente el 5%, con p=0,05). Pero las tasas de error de Tipo II están directamente relacionadas con la potencia de tu test. Cuanto menor sea la potencia, mayor es la probabilidad de perder una mejora real por un falso negativo.
Optimizar la potencia minimiza los errores de Tipo II. Debes diseñar tests que maximicen la probabilidad de detectar diferencias reales.
Herramienta gratuita de test A/B
Lanza tu próximo test A/B de la forma correcta
Editor visual, script de 15 KB, nativo de GA4 y gratis para siempre hasta 100.000 visitantes mensuales. Sin necesidad de desarrolladores.
Factores que influyen en la potencia estadística
Hay cuatro factores clave que determinan la potencia estadística de un test A/B:
Tamaño de muestra: el número de datos o usuarios asignados a cada variante. Más muestras significan mayor potencia. Es el factor más importante para mejorar la potencia.
Efecto mínimo detectable (MDE): la diferencia o mejora más pequeña entre variantes que quieres detectar. Un efecto mínimo detectable mayor requiere menos potencia para identificarlo.
Nivel de significancia: el umbral del valor p para la significancia estadística. Lo estándar es 0,05 o 5%. Umbrales más estrictos, como 0,01, requieren más potencia.
Tasa de conversión base: la tasa de conversión de referencia de tu variante de control. Tasas más altas implican más conversiones por usuario, lo que aumenta la potencia.
Entender cómo influye cada uno de estos factores en la potencia te permitirá optimizar el diseño y el análisis de tus tests.
Cómo calcular el tamaño de muestra para la potencia estadística
Este es el proceso para determinar el tamaño de muestra necesario por variante y alcanzar el nivel de potencia estadística que buscas:
- Define tu efecto mínimo detectable (MDE)
- Establece tu nivel de significancia estadística (a menudo el 5%)
- Define tu nivel de potencia objetivo (normalmente 80% o 90%)
- Estima tu tasa de conversión base
- Usa una calculadora de tamaño de muestra para determinar el tamaño necesario
Las calculadoras de tamaño de muestra te permiten introducir estas variables y te devuelven el número mínimo de usuarios necesarios por variante. Algunas calculadoras populares son:
Por ejemplo, supongamos que quieres detectar una mejora del 5% en la tasa de conversión, con un 90% de potencia y un 5% de significancia. Tu tasa de conversión actual es del 10%. Con la calculadora de Mida, necesitarías 1597 usuarios por variante. Si mantienes el test hasta alcanzar esta muestra, tendrás un 90% de probabilidad de detectar un aumento del 5% en las conversiones.
Herramientas de análisis de potencia estadística
Además de las calculadoras de tamaño de muestra, existen herramientas que ofrecen informes completos de análisis de potencia para tus tests A/B. Te permiten calcular la potencia antes de lanzar tu test y volver a analizarla una vez que has recopilado todos tus datos. Algunas opciones populares son:
- G*Power: herramienta gratuita de análisis de potencia
- Power and Sample Size: calculadora de potencia en línea
- R PWR Package: análisis de potencia en R
- PostHoc Power Calculator: calculadora de potencia retrospectiva
Estas herramientas facilitan el cálculo de la potencia alcanzada a partir del tamaño de muestra y del tamaño del efecto reales de tu test A/B ya finalizado. Así puedes interpretar si un resultado no significativo se debió a una potencia baja o a que realmente no hay diferencia entre las variantes.
Efecto mínimo detectable (MDE)
El efecto mínimo detectable (MDE) es la magnitud de diferencia entre tus variantes que quieres poder identificar. Es un dato clave que determina cuánta potencia necesitas.
¿Cómo establecer un MDE adecuado? Estos son algunos consejos:
- Parte de un aumento objetivo basado en metas de negocio, como un 5% de mejora en la tasa de conversión.
- Ten en cuenta los tamaños de impacto habituales de tests y cambios anteriores.
- Considera la viabilidad: ¿qué tan fácil es mover la métrica un X%?
- Equilibra la potencia deseada con los requisitos de tamaño de muestra.
Un MDE más pequeño requiere más potencia y tamaños de muestra mayores. Si te cuesta conseguir una muestra suficiente, quizá debas probar diferencias más grandes al principio.
También es importante pensar en el valor monetario de los distintos tamaños de efecto. Puede que no merezca la pena detectar un aumento del 2% si una mejora del 5% sería mucho más relevante para el negocio.
Herramienta gratuita de test A/B
Lanza tu próximo test A/B de la forma correcta
Editor visual, script de 15 KB, nativo de GA4 y gratis para siempre hasta 100.000 visitantes mensuales. Sin necesidad de desarrolladores.
Cómo optimizar la potencia cuando el tamaño de muestra es limitado
En algunos casos, puede que no logres alcanzar el tamaño de muestra necesario para la potencia que deseas. Cuando el tamaño de muestra tiene un tope, tienes varias opciones para optimizar la potencia:
Aumenta el MDE: relajar tu efecto mínimo detectable reduce la potencia y el tamaño de muestra requeridos. Prueba diferencias mayores.
Amplía la duración del test: ejecuta el test durante más tiempo para acumular más usuarios hasta alcanzar la muestra necesaria.
Reduce las variantes: comparar solo dos variantes implica más usuarios por rama, lo que aumenta la potencia frente a los tests con varias variantes.
Aprovecha los datos históricos: usa las tasas de conversión de experimentos anteriores como variante de control para obtener más datos de referencia y más potencia.
Simplifica las métricas: probar métricas agregadas, como la tasa de conversión global, requiere muestras más pequeñas que las microconversiones específicas.
Técnicas estadísticas: métodos como el análisis bayesiano pueden mejorar la potencia en muestras pequeñas, pero añaden complejidad.
Aunque no son soluciones perfectas, estas tácticas pueden ayudarte a maximizar la potencia posible cuando el tamaño de muestra es bajo o la disponibilidad es limitada. Cualquier mejora de potencia suma.
Interpretación de resultados y análisis de potencia
El análisis de potencia no solo sirve para calcular el tamaño de muestra necesario antes de testear. También es clave para interpretar correctamente tus resultados una vez terminado el experimento.
Cuando hayas ejecutado el test y recopilado todos tus datos, recalcula la potencia alcanzada usando el tamaño de muestra real y el tamaño del efecto observado.
Si la potencia medida es baja, un resultado no significativo puede indicar simplemente una potencia insuficiente y no una diferencia real inexistente entre las variantes. En ese caso, no puedes aceptar con confianza la hipótesis nula. Ejecutar el test durante más tiempo o repetirlo con una muestra mayor podría revelar un efecto significativo.
El análisis de potencia aporta contexto para saber si los resultados negativos de un test se deben a una potencia baja o a que realmente no hay impacto. Así evitas descartar variantes por error debido a tests con potencia insuficiente.
El análisis de potencia te dice cuánto tiempo debes ejecutar un test. Usa nuestra calculadora de duración gratuita para obtener la respuesta exacta según tu tráfico y tu tasa de conversión.
Conclusión
Calcular y optimizar la potencia estadística es vital para hacer tests A/B fiables y con impacto. Una potencia baja provoca errores de Tipo II frecuentes e impide detectar mejoras reales. Factores como el tamaño de muestra, el tamaño mínimo del efecto detectable, la significancia estadística y las tasas base influyen en los cálculos de potencia.
Las herramientas facilitan determinar el tamaño de muestra necesario para alcanzar la potencia y la sensibilidad objetivo. Cuando la muestra es limitada, ajustar el MDE, las duraciones, el uso de datos históricos y simplificar las métricas puede ayudar a maximizar la potencia.
Analizar la potencia después de tu test aporta contexto sobre los resultados no significativos. Con un buen análisis de potencia, puedes optimizar tu metodología de testing, evitar falsos negativos y asegurarte de identificar con precisión las variantes con mejor rendimiento. En última instancia, esto se traduce en mayores ingresos y mejores experiencias de cliente impulsadas por tus tests.
