Comment calculer la valeur p ?

Vous êtes-vous déjà demandé comment les scientifiques savent si leurs résultats sont fiables ou simplement un coup de chance ? C'est là que les valeurs p entrent en jeu !

Voyons comment calculer ces chiffres bien pratiques sans nous perdre dans les méandres des maths.

Pourquoi les valeurs p sont-elles si importantes ?

Les valeurs p sont un peu le videur de la boîte de nuit des conclusions scientifiques. Elles nous aident à décider si nos résultats valent vraiment qu'on s'enthousiasme ou si l'on doit garder la tête froide.

En gros, une valeur p nous indique la probabilité d'obtenir nos résultats (ou des résultats encore plus extrêmes) s'il ne se passe en réalité rien de particulier.

Les bases de la valeur p

Voici l'essentiel :

• Une petite valeur p (généralement inférieure à 0,05) signifie : « Waouh, ce n'est probablement pas juste le hasard ! »
• Une valeur p plus élevée signifie : « Bof, ça pourrait n'être qu'une coïncidence. »

Mais comment calculer concrètement ces chiffres ?

Calculer les valeurs p : étape par étape

1. Formulez votre hypothèse

Avant tout, vous devez savoir ce que vous testez. Imaginons que vous vous demandiez si une nouvelle méthode d'étude aide les étudiants à obtenir de meilleurs résultats aux examens.

• Hypothèse nulle (H0) : la nouvelle méthode ne change rien.
• Hypothèse alternative (H1) : la nouvelle méthode change bel et bien quelque chose.

Cette étape est cruciale, car elle structure toute votre analyse. Selon l'American Statistical Association, « les conclusions scientifiques et les décisions commerciales ou politiques ne devraient pas reposer uniquement sur le fait qu'une valeur p franchisse ou non un seuil donné ».

2. Choisissez votre test

Choisir le bon test, c'est comme choisir le bon outil pour un travail. En voici deux courants :

Test Z à deux échantillons

C'est votre option de référence pour les tailles d'échantillon plus grandes (généralement n > 30 pour chaque groupe). C'est un peu le couteau suisse des tests statistiques. Le test Z suppose que l'écart-type de la population est connu et que les données suivent une distribution normale.

Test t de Welch

Pour les petits échantillons (surtout lorsque les groupes n'ont pas la même taille ou présentent des variances inégales), c'est la meilleure option. Le test t de Welch est une adaptation du test t de Student et ne suppose pas l'égalité des variances entre les groupes.

3. Collectez vos données

Rassemblez vos chiffres. Vous aurez besoin de :

• Les scores moyens des deux groupes (utilisateurs et non-utilisateurs de la méthode d'étude)
• La dispersion des scores (variance)
• Le nombre de personnes dans chaque groupe

Assurez-vous que votre collecte de données est impartiale et représentative. Comme le souligne Nature : « Une étude bien conçue peut être plus instructive que plusieurs études médiocres ».

4. Faites le calcul (ou laissez un ordinateur s'en charger)

C'est ici que cela peut se compliquer un peu, mais pas d'inquiétude ! La plupart du temps, vous utiliserez un logiciel pour cette étape.

Pour un test t de Welch, vous calculeriez :

Z = (x̄₁ - x̄₂) / √(σ₁² / n₁ + σ₂² / n₂)

Où :

• x̄₁ et x̄₂ sont les moyennes d'échantillon du groupe 1 et du groupe 2
• σ₁² et σ₂² sont les variances de population du groupe 1 et du groupe 2
• n₁ et n₂ sont les tailles d'échantillon du groupe 1 et du groupe 2

Ensuite, vous utiliseriez ce score Z pour trouver la valeur p dans une table de loi normale centrée réduite ou avec une calculatrice.

5. Interprétez vos résultats

Vous avez votre valeur p ? Parfait ! Que signifie-t-elle ?

• Si p < 0,05 : « Nous tenons peut-être quelque chose ! »
• Si p ≥ 0,05 : « Retour à la case départ, messieurs-dames. »

Il est toutefois essentiel de savoir que le seuil de 0,05 n'est pas une règle absolue. Comme l'a déclaré Ronald Fisher, qui a introduit ce concept : « Aucun scientifique n'a un niveau de significativité fixe auquel, d'une année à l'autre et en toutes circonstances, il rejette les hypothèses ; il se penche plutôt sur chaque cas particulier à la lumière de ses preuves et de ses idées ».

Exemple concret

Imaginons que vous testiez si une nouvelle boisson énergisante donne vraiment des « ailes ». Vous la donnez à 100 personnes et vous mesurez la hauteur de leur saut. 100 autres personnes reçoivent un placebo.

• Saut moyen du groupe boisson énergisante : 20 pouces
• Saut moyen du groupe placebo : 18 pouces
• Les deux groupes ont une variance de 4 pouces

Avec une calculatrice de test Z, vous pourriez obtenir une valeur p de 0,03. C'est inférieur à 0,05, vous pourriez donc conclure : « Cette boisson pourrait réellement donner un coup de boost ! »

Une fois la significativité statistique calculée, lancez votre prochain test A/B avec Mida : éditeur visuel gratuit, aucun code requis, script de 15 Ko.

Conclusion

Le calcul des valeurs p consiste à déterminer si vos résultats relèvent du simple hasard ou si un effet réel est à l'œuvre.

Même si les calculs peuvent devenir complexes, l'idée est simple : à quel point serions-nous surpris de voir ces résultats si rien ne se passait réellement ?

Les valeurs p ne sont qu'un outil parmi d'autres dans la boîte à outils scientifique. Elles sont utiles, mais ne disent pas tout. Gardez toujours une vue d'ensemble et tenez compte d'autres facteurs lorsque vous interprétez vos résultats.

FAQ

Q : Les valeurs p peuvent-elles me dire si mon hypothèse est vraie ?
R : Non ! Elles indiquent seulement à quel point vos résultats sont surprenants s'il n'y a pas d'effet réel.

Q : Que faire si ma valeur p est exactement de 0,05 ?
R : C'est un cas limite. Certains chercheurs diront qu'elle est significative, d'autres voudront davantage de preuves.

Q : Des valeurs p plus petites signifient-elles des effets plus importants ?
R : Pas forcément. Elles signifient simplement que l'effet a moins de chances d'être dû au hasard.