Pourquoi un intervalle de confiance à 95 % ?
Réponse rapide
L'intervalle de confiance à 95 % est devenu la norme parce qu'il offre un équilibre pratique entre un seuil trop strict (99 %, qui exige de très grands échantillons) et un seuil trop souple (90 %, qui laisse passer davantage de faux positifs). Ce n'est pas une loi scientifique : c'est une convention qui signifie que vous acceptez 5 % de risque d'obtenir un faux positif, un risque que la plupart des équipes jugent acceptable pour les décisions d'optimisation.
Points clés à retenir
- Un IC à 95 % signifie qu'il y a 5 % de chances que votre résultat soit dû au hasard plutôt qu'à la modification testée.
- Des seuils plus stricts (99 %) nécessitent beaucoup plus de trafic ; des seuils plus souples (90 %) augmentent les faux positifs.
- Utilisez un IC à 90 % pour les tests à faible risque avec beaucoup de trafic ; restez sur 95 % pour la plupart des expérimentations A/B dont les décisions ont de réelles conséquences pour l'entreprise.
Vous êtes-vous déjà demandé pourquoi nous accordons autant d'importance à cet intervalle de confiance à 95 % ? Plongeons dans le sujet et tentons de le comprendre ensemble.
L'intervalle de confiance à 95 % : pourquoi tant d'importance ?
Soyons honnêtes d'emblée : l'intervalle de confiance à 95 % n'est pas un nombre magique tombé du ciel. Il est simplement devenu la référence dans de nombreux domaines, en particulier lorsqu'on parle d'expérimentation et de significativité statistique.
Mais pourquoi 95 % ? Pourquoi pas 90 % ou 99 % ? Eh bien, c'est une question d'équilibre.
Le jeu des compromis
Voici le principe : lorsque nous menons des expériences, nous jouons toujours sur des compromis. Nous voulons avoir confiance dans nos résultats, mais nous ne voulons pas non plus rendre la détection d'effets significatifs quasiment impossible.
Erreur de type 1 : si le seuil est trop bas (comme 80 %), nous risquons d'avoir trop de faux positifs.
Erreur de type 2 : si le seuil est trop élevé (comme 99 %), nous risquons de passer à côté d'effets réels (faux négatifs).
Le niveau de 95 % constitue en quelque sorte un juste milieu. Il est assez rigoureux pour nous donner une certaine confiance, mais pas assez strict pour que nous ne trouvions jamais rien d'intéressant.
Outil de test A/B gratuit
Lancez votre prochain test A/B dans les règles de l'art
Éditeur visuel, script de 15 Ko, natif GA4 et gratuit à vie jusqu'à 100 000 visiteurs mensuels. Aucun développeur requis.
Un peu d'histoire
Aussi surprenant que cela puisse paraître, ce seuil de 95 % existe depuis longtemps. Ronald Fisher, figure majeure des statistiques, a en quelque sorte posé les bases dans les années 1920. Il a proposé d'utiliser le seuil de significativité de 5 %, qui est l'envers de notre intervalle de confiance à 95 %.
Fisher ne disait pas que c'était la seule voie possible, mais l'idée s'est imposée. C'est devenu une convention, un peu comme se serrer la main plutôt que s'incliner.
Que signifie vraiment une confiance à 95 % ?
Très bien, décortiquons cela. Quand nous disons que nous avons un intervalle de confiance à 95 %, cela signifie :
« Si nous répétions cette expérience un grand nombre de fois, environ 95 % du temps, le véritable paramètre de la population se situerait dans cet intervalle. »
Cela ne veut pas dire qu'il y a 95 % de chances que notre résultat soit juste. Cela concerne davantage le processus que chaque résultat pris isolément.
Le lien avec la valeur p
Vous avez probablement aussi entendu parler des valeurs p. Elles sont étroitement liées aux intervalles de confiance. Un intervalle de confiance à 95 % revient à dire : « Voici toutes les valeurs qui nous donneraient une valeur p inférieure à 0,05. »
Pourquoi ne pas toujours viser plus haut ?
Vous vous dites peut-être : « Pourquoi ne pas toujours utiliser 99 %, voire plus ? » Il y a plusieurs raisons à cela :
- Taille d'échantillon : une confiance plus élevée exige des échantillons plus grands. Cela signifie plus de temps, plus d'argent, plus de tout.
- Significativité pratique : parfois, un intervalle à 95 % suffit pour prendre des décisions. Avons-nous vraiment besoin d'être sûrs à 99 % avant de changer la couleur d'un bouton ?
- Faux négatifs : plus nous plaçons la barre haut, plus nous risquons de passer à côté d'effets réels.
Outil de test A/B gratuit
Lancez votre prochain test A/B dans les règles de l'art
Éditeur visuel, script de 15 Ko, natif GA4 et gratuit à vie jusqu'à 100 000 visiteurs mensuels. Aucun développeur requis.
Application concrète
Imaginons que vous réalisiez un test A/B sur votre site web. Vous comparez deux versions d'une page de destination. Une fois le test terminé, vous obtenez un intervalle de confiance à 95 % pour la différence de taux de conversion, compris entre 2 % et 8 %.
Que cela signifie-t-il en termes simples ? Cela signifie que vous pouvez être plutôt confiant (confiant à 95 %, pour être précis) que si vous mettiez en place la nouvelle version, votre véritable hausse de conversions se situerait quelque part entre 2 % et 8 %.
Est-ce suffisant pour prendre une décision ? Peut-être. Cela dépend de votre profil risque-bénéfice et du type de modifications que vous apportez.
La controverse
Attention, tout le monde n'adhère pas à ce seuil de 95 %. Le débat a été vif.
Andrew Gelman, un expert en statistiques, a plaidé pour l'utilisation d'intervalles à 50 % à la place. Son argument ? Ils donnent une meilleure idée de l'incertitude et évitent que l'on traite l'intervalle à 95 % comme un seuil absolu.
D'autres ont fait remarquer que les gens interprètent souvent mal les intervalles de confiance, en les croyant plus définitifs qu'ils ne le sont réellement.
Alternatives et points à considérer
Si 95 % est la norme, ce n'est pas la seule option :
- Confiance à 90 % : utilisée lorsque vous acceptez un peu plus d'incertitude.
- Confiance à 99 % : lorsque vous devez vraiment être sûr (comme dans les essais cliniques).
- Méthodes bayésiennes : une approche totalement différente que certains jugent plus intuitive.
L'essentiel à retenir
L'intervalle de confiance à 95 % n'est pas parfait, mais c'est un outil utile. Il nous offre une manière standardisée de parler de l'incertitude de nos résultats.
L'essentiel est de comprendre ce qu'il signifie réellement et de l'intégrer à un processus de décision plus large. Ce n'est pas la solution ultime, mais une pièce du puzzle.
Outil de test A/B gratuit
Lancez votre prochain test A/B dans les règles de l'art
Éditeur visuel, script de 15 Ko, natif GA4 et gratuit à vie jusqu'à 100 000 visiteurs mensuels. Aucun développeur requis.
FAQ
Q : Une confiance à 95 % est-elle toujours le meilleur choix ?
R : Pas toujours. Cela dépend de vos besoins spécifiques et des conséquences d'une erreur.
Q : Puis-je utiliser des niveaux de confiance différents selon les tests ?
R : Absolument. Soyez simplement clair sur ce que vous utilisez et pourquoi.
Q : Un intervalle de confiance à 95 % signifie-t-il que je suis sûr de mon résultat à 95 % ?
R : Pas tout à fait. Il concerne le processus, pas un résultat isolé.
Q : Comment la taille de l'échantillon influe-t-elle sur l'intervalle de confiance ?
R : En général, plus les échantillons sont grands, plus les intervalles de confiance sont étroits.
Q : Dois-je toujours viser la significativité statistique avant de prendre des décisions ?
R : Pas nécessairement. Parfois, la significativité pratique est plus importante que la significativité statistique.
Rappelez-vous : les statistiques sont des outils, pas des règles. Utilisez-les avec discernement et elles vous seront précieuses dans votre parcours d'expérimentation.
