Que sont les erreurs de type 1 et de type 2 ?
Réponse rapide
Une erreur de type I (faux positif) survient lorsque vous déclarez une variante gagnante alors qu'il n'existe aucune différence réelle : sa probabilité est contrôlée par votre seuil de signification (un seuil de 5 % correspond à un taux d'erreur de type I de 5 %). Une erreur de type II (faux négatif) survient lorsque vous passez à côté d'une amélioration réelle : sa probabilité correspond à votre taux de faux négatifs, l'inverse de votre puissance statistique.
Points clés à retenir
- Abaisser le seuil de signification (exiger p < 0,01 au lieu de p < 0,05) réduit les erreurs de type I mais augmente les erreurs de type II : ces deux types d'erreurs sont toujours en tension.
- Augmenter la taille de l'échantillon réduit simultanément les deux types d'erreurs : disposer de plus de données est le moyen le plus fiable d'améliorer la fiabilité de tout résultat de test A/B.
- En pratique, les erreurs de type I sont les plus courantes dans les tests A/B, car les équipes consultent les résultats intermédiaires et arrêtent le test dès qu'une signification apparente apparaît : cela gonfle le taux effectif de faux positifs bien au-delà des 5 % annoncés.
Les erreurs de type I et de type II surviennent lorsque nos conclusions expérimentales identifient à tort un résultat positif ou passent à côté d'un résultat réel.
Dans les deux cas, les décisions sont influencées par des résultats perçus plutôt que réels. Alors, pourquoi est-il important de comprendre cela ?
Ces erreurs sont au cœur des tests d'hypothèses en statistique. Ne pas les comprendre peut conduire à de mauvaises conclusions ou décisions à partir des résultats des tests.
Prenons le temps de comprendre ces termes :
- Erreur de type I : également appelée faux positif. Elle survient lorsque vous concluez que quelque chose a un impact alors qu'en réalité, ce n'est pas le cas.
- Erreur de type II : appelée faux négatif. Elle survient lorsque vous concluez que quelque chose n'affecte pas le résultat alors qu'en réalité, c'est le cas.
Pourquoi ces erreurs surviennent-elles ?
Un peu de théorie ! Dans un test A/B, vous avez une hypothèse nulle (H0) et une hypothèse alternative (H1).
- Hypothèse nulle (H0) : le nouveau design du site web n'a aucun impact sur le taux de conversion
- Hypothèse alternative (H1) : le nouveau design du site web a un impact sur le taux de conversion
Ce que nous faisons essentiellement dans un test A/B, c'est donc décider s'il faut accepter H1 et rejeter H0.
Mais comme nous, humains, ne sommes pas parfaits, nos expériences et nos conclusions ne le sont pas non plus. C'est là que les erreurs s'immiscent : celles de type I et de type II.
Erreur de type I : Alpha (α)
L'erreur de type I, également appelée faux positif, est notée alpha (α), le niveau de signification.
Imaginons que vous lanciez une expérience pour savoir si un nouveau bouton « acheter » vert augmente les conversions par rapport à un bouton rouge. Vous concluez que le bouton vert augmente les conversions. Mais ce résultat est dû uniquement au hasard, et non au fait que le bouton soit meilleur. C'est une erreur de type I.
La probabilité que cette erreur se produise correspond à ce que l'on appelle le niveau de signification, ou alpha, souvent fixé à 5 %. En clair, nous acceptons un risque de 5 % de nous tromper lorsque nous déclarons un gagnant.
Outil de test A/B gratuit
Lancez votre prochain test A/B dans les règles de l'art
Éditeur visuel, script de 15 Ko, natif GA4 et gratuit à vie jusqu'à 100 000 visiteurs mensuels. Aucun développeur requis.
Erreur de type II : bêta (β)
L'erreur de type II, également appelée faux négatif, est notée bêta (β). Elle se produit lorsque vous ne détectez pas un effet alors qu'il existe bel et bien.
Reprenons l'exemple précédent : imaginons que le bouton « acheter » vert augmente réellement les conversions. Mais votre expérience conclut que ce n'est pas le cas. C'est une erreur de type II.
Le risque de commettre une erreur de type II est réduit par la puissance statistique d'une étude. En général, un niveau de puissance de 80 % ou plus est considéré comme acceptable.
Le compromis
Le plus délicat, c'est que ces deux types d'erreurs sont inversement liés. Si vous réduisez le risque d'erreur de type I, le risque d'erreur de type II augmente, et inversement.
Il faut maintenir un équilibre subtil entre les deux. L'idéal est de minimiser les deux erreurs, mais c'est souvent impossible. Vous devez alors vous appuyer sur le contexte pour décider quelle erreur serait la plus préjudiciable.
Pourquoi est-ce important dans les tests A/B ?
Les tests A/B reposent largement sur des décisions statistiques. Comprendre ces erreurs aide à mieux interpréter les résultats et simplifie la prise de décision.
N'oubliez pas : les erreurs de type I et II ne peuvent pas être totalement évitées. L'essentiel est de les gérer et de les minimiser.
Nous devons garder à l'esprit que ces erreurs existent, les accepter et, surtout, savoir comment les gérer. Ainsi, nous pouvons prendre des décisions plus justes et plus fiables.
Aussi compliquées qu'elles puissent paraître, la compréhension des erreurs de type I et de type II fait réellement partie intégrante du parcours d'optimisation.
Alors, pensez à garder les erreurs de type I et II sous contrôle, et bons tests !
