¿Por qué un intervalo de confianza del 95%?
Respuesta rápida
El intervalo de confianza del 95% se convirtió en el estándar porque logra un equilibrio práctico entre ser demasiado estricto (99%, que requiere muestras muy grandes) y demasiado laxo (90%, que permite más falsos positivos). No es una ley científica: es una convención que significa que aceptas un 5% de probabilidad de obtener un falso positivo, un riesgo que la mayoría de los equipos considera aceptable para las decisiones de optimización.
Conclusiones clave
- Un IC del 95% significa que hay un 5% de probabilidad de que tu resultado se deba al azar y no al cambio que probaste.
- Los umbrales más estrictos (99%) requieren bastante más tráfico; los más laxos (90%) aumentan los falsos positivos.
- Usa un IC del 90% para tests de bajo riesgo con mucho tráfico; quédate con el 95% en la mayoría de los experimentos A/B, donde las decisiones tienen consecuencias reales para el negocio.
¿Alguna vez te has preguntado por qué le damos tanta importancia al intervalo de confianza del 95%? Vamos a descubrirlo juntos.
El intervalo de confianza del 95%: ¿qué tiene de especial?
Antes que nada, hablemos claro. El intervalo de confianza del 95% no es un número mágico caído del cielo. Simplemente se ha convertido en el estándar de referencia en muchos campos, sobre todo cuando hablamos de experimentación y significancia estadística.
Pero ¿por qué 95%? ¿Por qué no 90% o 99%? Pues es cuestión de equilibrio.
El juego de los equilibrios
Así están las cosas: cuando realizamos experimentos, siempre estamos jugando a buscar equilibrios. Queremos confiar en nuestros resultados, pero tampoco queremos que sea imposible encontrar efectos significativos.
Error de tipo 1: si el nivel es demasiado bajo (como 80%), corremos el riesgo de tener demasiados falsos positivos.
Error de tipo 2: si es demasiado alto (como 99%), podríamos pasar por alto efectos reales (falsos negativos).
El nivel del 95% encuentra un punto óptimo. Es lo bastante riguroso para darnos cierta confianza, pero no tan estricto como para no encontrar nunca nada interesante.
Herramienta gratuita de test A/B
Lanza tu próximo test A/B de la forma correcta
Editor visual, script de 15 KB, nativo de GA4 y gratis para siempre hasta 100.000 visitantes mensuales. Sin necesidad de desarrolladores.
Un poco de historia
Aunque no lo creas, esto del 95% lleva mucho tiempo por aquí. Ronald Fisher, una figura importante de la estadística, sentó las bases en la década de 1920. Propuso usar el nivel de significancia del 5%, que es la otra cara de nuestro intervalo de confianza del 95%.
Fisher no decía que fuera la única opción, pero se popularizó. Se convirtió en una convención, como cuando nos damos la mano en lugar de hacer una reverencia.
¿Qué significa realmente un 95% de confianza?
Bien, vamos a desglosarlo. Cuando decimos que tenemos un intervalo de confianza del 95%, estamos diciendo:
"Si repitiéramos este experimento muchas veces, aproximadamente el 95% de las veces el verdadero parámetro poblacional caería dentro de este intervalo".
No dice que haya un 95% de probabilidad de que nuestro resultado sea correcto. Tiene más que ver con el proceso que con un resultado concreto.
La conexión con el valor p
Probablemente también hayas oído hablar de los valores p. Están estrechamente relacionados con los intervalos de confianza. Un intervalo de confianza del 95% básicamente dice: "Estos son todos los valores que nos darían un valor p menor que 0,05".
¿Por qué no usar siempre un nivel más alto?
Quizá estés pensando: "¿Por qué no usar siempre 99% o incluso más?". Pues hay varias razones:
- Tamaño de la muestra: una mayor confianza exige muestras más grandes. Eso significa más tiempo, más dinero, más de todo.
- Relevancia práctica: a veces, un intervalo del 95% es suficiente para tomar decisiones. ¿De verdad necesitamos estar 99% seguros antes de cambiar el color de un botón?
- Falsos negativos: Cuanto más alto ponemos el listón, más probable es que pasemos por alto efectos reales.
Herramienta gratuita de test A/B
Lanza tu próximo test A/B de la forma correcta
Editor visual, script de 15 KB, nativo de GA4 y gratis para siempre hasta 100.000 visitantes mensuales. Sin necesidad de desarrolladores.
Aplicación en el mundo real
Imagina que estás haciendo un test A/B en tu sitio web. Estás comparando dos versiones de una landing page. Tras ejecutar el test, obtienes un intervalo de confianza del 95% para la diferencia en las tasas de conversión de entre el 2% y el 8%.
¿Qué significa esto en lenguaje sencillo? Significa que puedes estar bastante seguro (un 95% seguro, para ser exactos) de que, si implementaras la nueva versión, tu aumento real de conversiones estaría entre el 2% y el 8%.
¿Es suficiente para tomar una decisión? Quizá. Depende de tu perfil de riesgo-beneficio y del tipo de cambios que estés haciendo.
La polémica
Ahora bien, no pienses que todo el mundo está de acuerdo con lo del 95%. Ha habido mucho debate.
Andrew Gelman, un gurú de la estadística, ha defendido usar intervalos del 50% en su lugar. ¿Su argumento? Ofrece una mejor idea de la incertidumbre y evita que se trate el intervalo del 95% como un límite rígido.
Otros han señalado que a menudo se interpretan mal los intervalos de confianza, pensando que son más definitivos de lo que realmente son.
Alternativas y consideraciones
Aunque el 95% es el estándar, no es la única opción:
- Confianza del 90%: Se usa cuando aceptas un poco más de incertidumbre.
- Confianza del 99%: Cuando necesitas estar realmente seguro (como en los ensayos médicos).
- Métodos bayesianos: Un enfoque totalmente distinto que, según algunos, es más intuitivo.
En resumen
El intervalo de confianza del 95% no es perfecto, pero es una herramienta útil. Nos da una forma estandarizada de hablar sobre la incertidumbre de nuestros resultados.
La clave está en entender qué significa realmente y usarlo como parte de un proceso de toma de decisiones más amplio. No es lo único ni lo definitivo, sino una pieza del rompecabezas.
Herramienta gratuita de test A/B
Lanza tu próximo test A/B de la forma correcta
Editor visual, script de 15 KB, nativo de GA4 y gratis para siempre hasta 100.000 visitantes mensuales. Sin necesidad de desarrolladores.
Preguntas frecuentes
P: ¿Es siempre el 95% de confianza la mejor opción?
R: No siempre. Depende de tus necesidades específicas y de las consecuencias de equivocarte.
P: ¿Puedo usar diferentes niveles de confianza para diferentes tests?
R: Por supuesto. Solo deja claro qué estás usando y por qué.
P: ¿Un intervalo de confianza del 95% significa que estoy 95% seguro de mi resultado?
R: No exactamente. Se refiere al proceso, no a un resultado concreto.
P: ¿Cómo afecta el tamaño de la muestra al intervalo de confianza?
R: En general, tamaños de muestra más grandes dan lugar a intervalos de confianza más estrechos.
P: ¿Debería buscar siempre la significancia estadística antes de tomar decisiones?
R: No necesariamente. A veces la significancia práctica es más importante que la significancia estadística.
Recuerda: las estadísticas son herramientas, no reglas. Úsalas con criterio y te serán de gran ayuda en tu camino de experimentación.
