¿Qué son los errores de tipo 1 y tipo 2?
Respuesta rápida
Un error de tipo I (falso positivo) ocurre cuando declaras una variante ganadora sin que exista una diferencia real: su probabilidad la controla tu umbral de significancia (un umbral del 5% implica una tasa de error de tipo I del 5%). Un error de tipo II (falso negativo) ocurre cuando pasas por alto una mejora real: su probabilidad es tu tasa de falsos negativos, la inversa de tu potencia estadística.
Conclusiones clave
- Reducir el umbral de significancia (exigir p < 0,01 en lugar de p < 0,05) disminuye los errores de tipo I, pero aumenta los de tipo II: estos dos tipos de error siempre están en tensión.
- Aumentar el tamaño de la muestra reduce ambos tipos de error a la vez: contar con más datos es la forma más fiable de mejorar la fiabilidad del resultado de cualquier test A/B.
- En la práctica, los errores de tipo I son los más comunes en los tests A/B porque los equipos miran los resultados intermedios y detienen el test cuando ven una significancia aparente, lo que infla la tasa efectiva de falsos positivos muy por encima del 5% indicado.
Los errores de tipo I y tipo II ocurren cuando nuestras conclusiones experimentales identifican falsamente un resultado exitoso o pasan por alto uno genuino.
En ambos casos, las decisiones se ven influidas por resultados percibidos y no reales. Ahora bien, ¿por qué es importante entender esto?
Estos errores son fundamentales en las pruebas de hipótesis en estadística. No comprenderlos puede llevar a conclusiones o decisiones equivocadas a partir de los resultados de un test.
Veamos estos términos con más detalle:
- Error de tipo I: también conocido como falso positivo. Ocurre cuando concluyes que algo tiene un impacto, pero en realidad no lo tiene.
- Error de tipo II: conocido como falso negativo. Ocurre cuando concluyes que algo no afecta al resultado, cuando en realidad sí lo hace.
¿Por qué ocurren estos errores?
Un poco de teoría. En los tests A/B tienes una hipótesis nula (H0) y una hipótesis alternativa (H1).
- Hipótesis nula (H0): el nuevo diseño del sitio web no tiene ningún impacto en la tasa de conversión
- Hipótesis alternativa (H1): el nuevo diseño del sitio web afecta a la tasa de conversión
Así que, en esencia, lo que hacemos en un test A/B es intentar decidir si aceptamos la H1 y rechazamos la H0.
Pero, como los humanos no somos perfectos, tampoco lo son nuestros experimentos y conclusiones. Aquí es donde se cuelan los errores: de tipo I y de tipo II.
Error de tipo I: alfa (α)
El error de tipo I, también conocido como falso positivo, se representa con alfa (α), el nivel de significancia.
Imagina que realizas un experimento para ver si un nuevo botón verde de «comprar» aumenta las conversiones frente a uno rojo. Concluyes que el botón verde aumenta las conversiones. Pero este resultado se dio puramente por azar y no porque el botón fuera mejor. Esto es un error de tipo I.
La probabilidad de que ocurra este error es lo que llamamos nivel de significancia o alfa, que suele fijarse en el 5%. En pocas palabras, aceptamos un 5% de probabilidad de equivocarnos al declarar un ganador.
Herramienta gratuita de test A/B
Lanza tu próximo test A/B de la forma correcta
Editor visual, script de 15 KB, nativo de GA4 y gratis para siempre hasta 100.000 visitantes mensuales. Sin necesidad de desarrolladores.
Error de tipo II – Beta (β)
El error de tipo II, también conocido como falso negativo, se representa con beta (β). Ocurre cuando no detectas un efecto que sí existe.
Siguiendo con el ejemplo anterior, imagina que el botón verde de «comprar» sí aumenta las conversiones. Pero tu experimento concluye que no. Esto es un error de tipo II.
El riesgo de cometer un error de tipo II depende de la potencia estadística de un estudio. En general, se considera aceptable un nivel de potencia del 80% o más.
El equilibrio entre ambos
Lo complicado es que estos dos tipos de error están inversamente relacionados. Si reduces la probabilidad de un error de tipo I, aumenta la de un error de tipo II, y viceversa.
Es un equilibrio delicado que debes mantener entre ambos. Lo ideal es minimizar los dos errores, pero a menudo no es posible. Entonces te apoyas en el contexto para decidir cuál podría ser más perjudicial.
¿Por qué importa en los tests A/B?
Los tests A/B dependen en gran medida de decisiones estadísticas. Entender estos errores te ayuda a interpretar mejor los resultados y agiliza el proceso de toma de decisiones.
Recuerda: los errores de tipo I y II no se pueden evitar por completo. La idea principal es gestionarlos y minimizarlos.
Debemos tener presente que estos errores ocurren, aceptarlos y, sobre todo, saber cómo manejarlos. Así podremos tomar decisiones más precisas y fiables.
Aunque suenen complicados, entender los errores de tipo I y de tipo II es parte fundamental del camino de la optimización.
Así que recuerda mantener bajo control los errores de tipo I y II, ¡y feliz experimentación!
