¿Cómo calcular el valor p?
Respuesta rápida
Un valor p mide la probabilidad de observar resultados tan extremos como los tuyos si en realidad no hubiera ninguna diferencia real entre el control y la variante. En los tests A/B, un valor p inferior a 0,05 significa que hay menos de un 5% de probabilidad de que la diferencia observada sea aleatoria: con ese umbral rechazas la hipótesis nula y declaras el resultado estadísticamente significativo.
Conclusiones clave
- Un valor p de 0,05 no significa que haya un 95% de probabilidad de que tu variante sea mejor: significa que hay un 5% de probabilidad de que la diferencia observada se deba solo al azar.
- Calcula el valor p solo cuando hayas alcanzado el tamaño de muestra predeterminado: calcularlo con datos intermedios infla de forma significativa la tasa de falsos positivos.
- Usa por defecto una prueba de dos colas en los experimentos A/B, a menos que tengas una razón previa sólida para que solo te importe la mejora en una dirección.
¿Alguna vez te has preguntado cómo saben los científicos si sus hallazgos son legítimos o solo una casualidad? ¡Ahí es donde entran los valores p!
Vamos a ver cómo calcular estos prácticos números sin perdernos en el mar de las matemáticas.
¿Por qué son tan importantes los valores p?
Los valores p son como el portero de la discoteca de las conclusiones científicas. Nos ayudan a decidir si nuestros resultados merecen que nos entusiasmemos o si es mejor mantener la calma.
Básicamente, un valor p nos dice qué tan probable es que veamos nuestros resultados (o algo aún más extremo) si en realidad no está pasando nada especial.
Lo básico del valor p
Esto es lo que hay que saber:
- Un valor p pequeño (normalmente menor que 0,05) significa: "¡Vaya, esto probablemente no es simple casualidad!"
- Un valor p mayor significa: "Mmm, esto podría ser solo una coincidencia".
Pero, ¿cómo se calculan realmente estos números?
Herramienta gratuita de test A/B
Lanza tu próximo test A/B de la forma correcta
Editor visual, script de 15 KB, nativo de GA4 y gratis para siempre hasta 100.000 visitantes mensuales. Sin necesidad de desarrolladores.
Cálculo de valores p: paso a paso
1. Plantea tu hipótesis
Lo primero es saber qué estás probando. Imagina que te preguntas si un nuevo método de estudio ayuda a los estudiantes a obtener mejores notas en los exámenes.
- Hipótesis nula (H0): el nuevo método no marca ninguna diferencia.
- Hipótesis alternativa (H1): el nuevo método sí marca una diferencia.
Este paso es fundamental porque define el marco de toda tu investigación. Según la American Statistical Association, "las conclusiones científicas y las decisiones empresariales o políticas no deberían basarse únicamente en si un valor p supera un umbral específico".
2. Elige tu prueba
Elegir la prueba adecuada es como elegir la herramienta correcta para un trabajo. Estas son dos de las más comunes:
Prueba Z de dos muestras
Es tu opción ideal para tamaños de muestra grandes (normalmente n > 30 por grupo). Es como la navaja suiza de las pruebas estadísticas. La prueba z asume que la desviación estándar de la población es conocida y que los datos siguen una distribución normal.
Prueba t de Welch
Para muestras pequeñas (especialmente cuando los grupos no tienen el mismo tamaño o tienen varianzas desiguales), esta es tu mejor opción. La prueba t de Welch es una adaptación de la prueba t de Student y no asume varianzas iguales entre los grupos.
3. Recopila tus datos
Reúne tus números. Necesitarás:
- Las puntuaciones promedio de ambos grupos (quienes usan el método de estudio y quienes no)
- Qué tan dispersas están las puntuaciones (varianza)
- Cuántas personas hay en cada grupo
Asegúrate de que tu recopilación de datos sea imparcial y representativa. Como señala Nature, "Un estudio bien diseñado puede ser más informativo que varios mal planteados".
4. Haz los cálculos (o deja que lo haga un ordenador)
Aquí es donde la cosa puede complicarse un poco, pero no te preocupes. La mayoría de las veces usarás un software para esta parte.
Para una prueba t de Welch, calcularías:
Z = (x̄₁ - x̄₂) / √(σ₁² / n₁ + σ₂² / n₂)
Donde:
- x̄₁ y x̄₂ son las medias muestrales del Grupo 1 y del Grupo 2
- σ₁² y σ₂² son las varianzas poblacionales del Grupo 1 y del Grupo 2
- n₁ y n₂ son los tamaños de muestra del Grupo 1 y del Grupo 2
Después, usarías este valor Z para encontrar el valor p en una tabla de distribución normal estándar o en una calculadora.
5. Interpreta tus resultados
¿Ya tienes tu valor p? ¡Genial! ¿Y qué significa?
- Si p < 0,05: "¡Puede que hayamos encontrado algo!"
- Si p ≥ 0,05: "Toca volver a empezar, amigos."
Sin embargo, es fundamental saber que el umbral de 0,05 no es una regla estricta. Como afirmó Ronald Fisher, quien introdujo el concepto: "Ningún científico tiene un nivel fijo de significancia con el que, año tras año y en todas las circunstancias, rechace hipótesis; más bien aplica su criterio a cada caso particular a la luz de su evidencia y sus ideas".
Un ejemplo real
Imagina que pruebas si una nueva bebida energética realmente te da "alas". Se la das a 100 personas y mides qué tan alto pueden saltar. Otras 100 personas reciben un placebo.
- Salto promedio del grupo de la bebida energética: 20 pulgadas
- Salto promedio del grupo del placebo: 18 pulgadas
- Ambos grupos tienen una varianza de 4 pulgadas
Con una calculadora de prueba Z, podrías obtener un valor p de 0,03. Es menor que 0,05, así que podrías concluir: "¡Esta bebida podría estar dando un impulso a las personas!"
Una vez que hayas calculado la significancia estadística, lanza tu próximo test A/B con Mida: editor visual gratuito, sin necesidad de código, script de 15KB.
Conclusión
Calcular valores p consiste en ver si tus resultados son pura casualidad o si realmente puede estar ocurriendo algo.
Aunque las matemáticas pueden complicarse, la idea es sencilla: ¿cuánto nos sorprendería ver estos resultados si en realidad no estuviera pasando nada?
Los valores p son solo una herramienta más en la caja de herramientas científica. Son útiles, pero no cuentan toda la historia. Mira siempre el panorama general y ten en cuenta otros factores al interpretar tus resultados.
Preguntas frecuentes
P: ¿Pueden los valores p decirme si mi hipótesis es verdadera?
R: ¡No! Solo te dicen qué tan sorprendentes son tus resultados si no existe un efecto real.
P: ¿Qué pasa si mi valor p es exactamente 0,05?
R: Es un caso límite. Algunos investigadores dirán que es significativo, otros querrán más evidencia.
P: ¿Un valor p más pequeño significa un efecto mayor?
R: No necesariamente. Solo significa que es menos probable que el efecto se deba al azar.