Was sind Fehler 1. und 2. Art?

Fehler 1. und 2. Art treten auf, wenn unsere Versuchsergebnisse entweder fälschlicherweise ein erfolgreiches Resultat feststellen oder ein echtes übersehen.

In beiden Fällen werden die Entscheidungen von wahrgenommenen statt tatsächlichen Ergebnissen beeinflusst. Warum ist es also wichtig, das zu verstehen?

Diese Fehler sind zentral für das Testen von Hypothesen in der Statistik. Ohne ein Verständnis dafür können Sie aus Testergebnissen falsche Schlüsse ziehen oder falsche Entscheidungen treffen.

Schauen wir uns diese Begriffe etwas genauer an:

• Fehler 1. Art: Auch bekannt als falsch positiv. Er tritt auf, wenn Sie schlussfolgern, dass etwas eine Wirkung hat, obwohl dies in Wirklichkeit nicht der Fall ist.
• Fehler 2. Art: Bekannt als falsch negativ. Er tritt auf, wenn Sie schlussfolgern, dass etwas das Ergebnis nicht beeinflusst, obwohl es das in Wirklichkeit tut.

Warum treten diese Fehler auf?

Ein bisschen Theorie! Beim A/B-Testing gibt es eine Nullhypothese (H0) und eine Alternativhypothese (H1).

• Nullhypothese (H0): Das neue Website-Design hat keine Auswirkung auf die Conversion-Rate
• Alternativhypothese (H1): Das neue Website-Design wirkt sich auf die Conversion-Rate aus

Beim A/B-Testing versuchen wir also im Wesentlichen zu entscheiden, ob wir H1 annehmen und H0 verwerfen.

Doch da wir Menschen nicht perfekt sind, sind es auch unsere Experimente und Schlussfolgerungen nicht. Hier schleichen sich Fehler ein: Fehler 1. und 2. Art.

Fehler 1. Art: Alpha (α)

Der Fehler 1. Art, auch bekannt als falsch positives Ergebnis, wird durch Alpha (α) bezeichnet, das Signifikanzniveau.

Angenommen, Sie führen ein Experiment durch, um zu prüfen, ob ein neuer grüner „Kaufen“-Button die Conversions im Vergleich zu einem roten steigert. Sie kommen zu dem Schluss, dass der grüne Button die Conversions erhöht. Dieses Ergebnis ist jedoch rein zufällig entstanden und nicht, weil der Button besser war. Das ist ein Fehler 1. Art.

Die Wahrscheinlichkeit, dass dieser Fehler auftritt, nennen wir Signifikanzniveau oder Alpha, oft auf 5 % festgelegt. Einfach gesagt: Wir akzeptieren eine Wahrscheinlichkeit von 5 %, falsch zu liegen, wenn wir einen Gewinner küren.

Fehler 2. Art – Beta (β)

Der Fehler 2. Art, auch bekannt als falsch negatives Ergebnis, wird durch Beta (β) bezeichnet. Er tritt auf, wenn Sie einen Effekt nicht erkennen, obwohl es tatsächlich einen gibt.

Um beim vorherigen Beispiel zu bleiben: Angenommen, der grüne „Kaufen“-Button steigert die Conversions tatsächlich. Ihr Experiment kommt jedoch zu dem Schluss, dass dies nicht der Fall ist. Das ist ein Fehler 2. Art.

Das Risiko, einen Fehler 2. Art zu begehen, wird durch die statistische Power einer Studie begrenzt. Im Allgemeinen gilt ein Power-Niveau von 80 % oder mehr als akzeptabel.

Der Zielkonflikt

Das Knifflige daran: Diese beiden Fehlerarten stehen in einem umgekehrten Verhältnis zueinander. Verringern Sie die Wahrscheinlichkeit eines Fehlers 1. Art, steigt die Wahrscheinlichkeit eines Fehlers 2. Art, und umgekehrt.

Zwischen beiden müssen Sie ein feines Gleichgewicht halten. Ideal wäre es, beide Fehler zu minimieren, doch oft ist das nicht machbar. Dann entscheidet der Kontext, welcher Fehler schädlicher sein könnte.

Warum ist das beim A/B-Testing wichtig?

A/B-Testing stützt sich stark auf statistische Entscheidungen. Wer diese Fehler versteht, kann die Ergebnisse besser einordnen. Das vereinfacht den Entscheidungsprozess.

Denken Sie daran: Fehler 1. und 2. Art lassen sich nicht vollständig vermeiden. Entscheidend ist, sie zu steuern und zu minimieren.

Wir müssen im Hinterkopf behalten, dass diese Fehler auftreten, sie akzeptieren und, noch wichtiger, wissen, wie wir damit umgehen. So können wir genauere und verlässlichere Entscheidungen treffen.

So kompliziert sie auch klingen mögen: Das Verständnis von Fehlern 1. und 2. Art ist ein wesentlicher Bestandteil des Optimierungswegs.

Behalten Sie Fehler 1. und 2. Art also im Griff und viel Erfolg beim Testen!

‍

‍