Wie berechnet man die Teststärke (Power) für A/B-Tests?
Kurze Antwort
Die statistische Power für A/B-Tests wird aus vier Eingangsgrößen berechnet: Basis-Conversion-Rate, minimal nachweisbarer Effekt (der kleinste Uplift, den Sie erkennen möchten), Signifikanzniveau (typischerweise 0,05) und gewünschtes Power-Niveau (typischerweise 0,8 bzw. 80 %). Bei 80 % Power besteht für Ihren Test eine Wahrscheinlichkeit von 20 %, einen echten Effekt zu übersehen. Eine Erhöhung der Power auf 90 % erfordert eine entsprechend größere Stichprobe.
Wichtigste Erkenntnisse
- Die Power-Analyse muss vor dem Start des Tests erfolgen, nicht danach. Post-hoc-Power-Berechnungen für abgeschlossene Tests sind statistisch irreführend.
- Ein größerer minimal nachweisbarer Effekt (z. B. der Nachweis eines relativen Uplifts von 20 % statt 5 %) verringert die erforderliche Stichprobengröße und die Testdauer erheblich.
- Wenn Sie mit dem verfügbaren Traffic in angemessener Zeit keine 80 % Power erreichen können, sollten Sie den MDE-Schwellenwert erweitern oder Seiten mit höherem Volumen und größeren Basis-Conversion-Rates testen.
A/B-Tests sind eine leistungsstarke Technik zur Optimierung von Conversions und Umsatz. Ohne eine saubere Analyse der statistischen Power erkennen Ihre Tests jedoch möglicherweise keine echten Unterschiede zwischen den Varianten. Geringe statistische Power führt zu mehr Fehlern 2. Art: Dabei akzeptieren Sie fälschlicherweise die Nullhypothese und verpassen Uplifts durch verbesserte Varianten.
Dieser Artikel bietet einen umfassenden Überblick darüber, wie Sie die statistische Power berechnen und interpretieren, um belastbare A/B-Tests zu planen.
Ganz gleich, ob Sie neu im A/B-Testing sind oder Ihre Methodik optimieren möchten: Dieser Leitfaden vermittelt Ihnen das Wissen, um die Power präzise zu berechnen und sicherzustellen, dass Ihre Tests echte Unterschiede zwischen Varianten zuverlässig erkennen.
Was ist statistische Power?
Die statistische Power gibt die Wahrscheinlichkeit an, dass ein Test einen echten Effekt oder Unterschied erkennt, sofern ein solcher tatsächlich existiert. Sie ist definiert als die Wahrscheinlichkeit, die Nullhypothese korrekt zu verwerfen, wenn die Alternativhypothese zutrifft.
Die Nullhypothese (H0) geht davon aus, dass es keinen Unterschied zwischen Ihrer Kontrollgruppe und der Variante gibt. Die Alternativhypothese (H1) ist das, was Sie belegen möchten: dass ein Unterschied besteht.
Die Power wird als Wert zwischen 0 und 1 dargestellt. Eine Power von 0,8 bedeutet, dass mit einer Wahrscheinlichkeit von 80 % die Nullhypothese korrekt verworfen und die in Ihrer Alternativhypothese angegebene Effektgröße erkannt wird. Deshalb finden Sie häufig 0,8 bzw. 80 % als empfohlenes Power-Niveau.
Geringe Power bedeutet, dass Sie echte Uplifts positiver Varianten mit höherer Wahrscheinlichkeit übersehen. Hohe Power gibt Ihnen mehr Sicherheit, falsch positive Ergebnisse auszuschließen und nur echte Effekte zu erkennen.
Fehler 1. und 2. Art bei A/B-Tests
Beim Testen von Hypothesen sind zwei Arten von Fehlern möglich:
Fehler 1. Art
Die Wahrscheinlichkeit, die Nullhypothese fälschlicherweise zu verwerfen, obwohl sie tatsächlich zutrifft. Auch bekannt als „falsch positiv“: Es wird ein Unterschied erkannt, obwohl keiner existiert.
Fehler 2. Art
Die Wahrscheinlichkeit, die Nullhypothese nicht zu verwerfen, obwohl die Alternativhypothese zutrifft. Auch bekannt als „falsch negativ“: Ein echter Unterschied zwischen Varianten wird übersehen.
Die Rate der Fehler 1. Art wird durch Ihren Schwellenwert für die statistische Signifikanz festgelegt (meist 5 % bei p=0,05). Die Rate der Fehler 2. Art hängt dagegen direkt von der Power Ihres Tests ab. Je geringer die Power, desto höher die Wahrscheinlichkeit, einen echten Uplift durch ein falsch negatives Ergebnis zu übersehen.
Die Optimierung der Power minimiert Fehler 2. Art. Sie sollten Tests so gestalten, dass die Wahrscheinlichkeit, echte Unterschiede zu erkennen, maximiert wird.
Kostenloses A/B-Test-Tool
Führen Sie Ihren nächsten A/B-Test richtig durch
Visueller Editor, 15-KB-Skript, GA4-nativ und für immer kostenlos bis zu 100.000 monatlichen Besuchern. Kein Entwickler nötig.
Faktoren, die die statistische Power beeinflussen
Vier zentrale Faktoren bestimmen die statistische Power eines A/B-Tests:
Stichprobengröße - Die Anzahl der Datenpunkte oder Nutzer, die jeder Variante zugewiesen werden. Mehr Stichproben bedeuten höhere Power. Das ist der wichtigste Faktor zur Verbesserung der Power.
Minimal nachweisbarer Effekt (MDE) - Der kleinste Unterschied oder Uplift zwischen Varianten, den Sie erkennen möchten. Ein höherer minimal nachweisbarer Effekt erfordert weniger Power, um erkannt zu werden.
Signifikanzniveau - Der p-Wert-Schwellenwert für statistische Signifikanz. 0,05 bzw. 5 % ist der Standard. Strengere Schwellenwerte wie 0,01 erfordern mehr Power.
Basis-Conversion-Rate - Die Ausgangs-Conversion-Rate Ihrer Kontrollvariante. Höhere Raten bedeuten mehr Conversions pro Nutzer und erhöhen damit die Power.
Wenn Sie verstehen, wie sich jeder dieser Faktoren auf die Power auswirkt, können Sie Ihr Testdesign und Ihre Analyse optimieren.
So berechnen Sie die Stichprobengröße für die statistische Power
So bestimmen Sie die erforderliche Stichprobengröße pro Variante, um Ihr gewünschtes Niveau an statistischer Power zu erreichen:
- Definieren Sie Ihren minimal nachweisbaren Effekt (MDE)
- Legen Sie Ihr Niveau der statistischen Signifikanz fest (häufig 5 %)
- Definieren Sie Ihr Ziel-Power-Niveau (typischerweise 80 % oder 90 %)
- Schätzen Sie Ihre Basis-Conversion-Rate
- Bestimmen Sie die notwendige Stichprobengröße mit einem Stichprobenrechner
Mit Stichprobenrechnern geben Sie diese Variablen ein und erhalten die Mindestanzahl an Nutzern pro Variante. Zu den beliebten Rechnern gehören:
Angenommen, Sie möchten einen Uplift der Conversion-Rate von 5 % erkennen, bei 90 % Power und 5 % Signifikanz. Ihre aktuelle Conversion-Rate liegt bei 10 %. Mit dem Rechner von Mida benötigen Sie 1597 Nutzer pro Variante. Wenn Sie den Test laufen lassen, bis diese Stichprobe erreicht ist, haben Sie eine Wahrscheinlichkeit von 90 %, einen Anstieg der Conversions um 5 % zu erkennen.
Tools für die Analyse der statistischen Power
Neben Stichprobenrechnern gibt es Tools, die vollständige Power-Analyse-Berichte für Ihre A/B-Tests liefern. Damit können Sie die Power vor dem Start Ihres Tests berechnen und nach der Erhebung aller Daten erneut analysieren. Beliebte Optionen sind:
- G*Power - Kostenloses Tool für die Power-Analyse
- Power and Sample Size - Webbasierter Power-Rechner
- R PWR Package - Power-Analyse in R
- PostHoc Power Calculator - Rechner für retrospektive Power
Mit diesen Tools lässt sich die erreichte Power auf Basis der tatsächlichen Stichprobengröße und Effektstärke Ihres abgeschlossenen A/B-Tests ganz einfach berechnen. So können Sie einordnen, ob ein nicht signifikantes Ergebnis auf eine geringe Power zurückzuführen ist oder ob tatsächlich kein Unterschied zwischen den Varianten besteht.
Minimum Detectable Effect (MDE)
Der Minimum Detectable Effect (MDE) ist die Größe des Unterschieds zwischen Ihren Varianten, die Sie erkennen möchten. Er ist eine zentrale Eingangsgröße, die bestimmt, wie viel Power Sie benötigen.
Wie legen Sie einen passenden MDE fest? Hier einige Tipps:
- Beginnen Sie mit einem Zielzuwachs auf Basis Ihrer Geschäftsziele, zum Beispiel 5 % mehr Conversion-Rate.
- Berücksichtigen Sie typische Effektgrößen aus früheren Tests und Änderungen.
- Beziehen Sie die Machbarkeit ein: Wie leicht lässt sich die Kennzahl um X % verbessern?
- Wägen Sie gewünschte Power und erforderliche Stichprobengröße gegeneinander ab.
Ein kleinerer MDE erfordert mehr Power und größere Stichproben. Wenn es schwierig ist, eine ausreichende Stichprobe zu erreichen, müssen Sie anfangs eventuell größere Unterschiede testen.
Ebenso wichtig ist es, den finanziellen Wert verschiedener Effektgrößen zu bedenken. Ein Zuwachs von 2 % lohnt sich möglicherweise nicht nachzuweisen, wenn ein Plus von 5 % geschäftlich deutlich relevanter wäre.
Kostenloses A/B-Test-Tool
Führen Sie Ihren nächsten A/B-Test richtig durch
Visueller Editor, 15-KB-Skript, GA4-nativ und für immer kostenlos bis zu 100.000 monatlichen Besuchern. Kein Entwickler nötig.
Power optimieren bei begrenzter Stichprobengröße
In manchen Fällen können Sie die für Ihre gewünschte Power nötige Stichprobengröße nicht erreichen. Wenn die Stichprobengröße begrenzt ist, haben Sie einige Möglichkeiten, die Power zu optimieren:
MDE erhöhen - Ein gelockerter Minimum Detectable Effect senkt die erforderliche Power und Stichprobengröße. Testen Sie größere Unterschiede.
Testdauer verlängern - Lassen Sie den Test länger laufen, um im Laufe der Zeit mehr Nutzer zu sammeln, bis die benötigte Stichprobe erreicht ist.
Varianten reduzieren - Der Vergleich von nur zwei Varianten bedeutet mehr Nutzer pro Zweig und erhöht die Power gegenüber Tests mit mehreren Varianten.
Historische Daten nutzen - Verwenden Sie Conversion-Raten aus früheren Experimenten als Kontrollvariante, um mehr Basisdaten und mehr Power zu erhalten.
Kennzahlen vereinfachen - Das Testen aggregierter Kennzahlen wie der gesamten Conversion-Rate erfordert kleinere Stichproben als spezifische Micro-Conversions.
Statistische Verfahren - Methoden wie die Bayes-Analyse können die Power bei kleineren Stichproben möglicherweise verbessern, bringen aber zusätzliche Komplexität mit sich.
Auch wenn es keine perfekten Lösungen gibt, helfen Ihnen diese Taktiken, die mögliche Power bei kleiner oder eingeschränkt verfügbarer Stichprobe zu maximieren. Jeder Zugewinn an Power ist von Vorteil.
Ergebnisse interpretieren und Power-Analyse
Die Power-Analyse ist nicht nur nützlich, um vor dem Test die erforderliche Stichprobengröße zu berechnen. Sie ist auch entscheidend, um Ihre Ergebnisse nach Abschluss eines Experiments richtig zu interpretieren.
Sobald Sie den Test durchgeführt und alle Daten gesammelt haben, berechnen Sie die erreichte Power anhand der tatsächlichen Stichprobengröße und der beobachteten Effektstärke neu.
Ist die gemessene Power niedrig, kann ein nicht signifikantes Ergebnis schlicht auf unzureichende Power hindeuten und nicht auf einen echten Unterschied zwischen den Varianten. In diesem Fall können Sie die Nullhypothese nicht mit Sicherheit annehmen. Ein längerer Test oder eine Wiederholung mit größerer Stichprobe kann einen signifikanten Effekt aufdecken.
Die Power-Analyse liefert Kontext dazu, ob negative Testergebnisse von geringer Power herrühren oder tatsächlich keine Wirkung vorliegt. So vermeiden Sie, Varianten aufgrund von Tests mit zu geringer Power fälschlich zu verwerfen.
Die Power-Analyse sagt Ihnen, wie lange ein Test laufen sollte. Nutzen Sie unseren kostenlosen Dauerrechner, um die genaue Antwort für Ihren Traffic und Ihre Conversion-Rate zu erhalten.
Fazit
Die Berechnung und Optimierung der statistischen Power ist entscheidend für zuverlässige und wirkungsvolle A/B-Tests. Geringe Power führt zu häufigen Fehlern 2. Art und dazu, dass echte Verbesserungen nicht erkannt werden. Faktoren wie Stichprobengröße, minimale nachweisbare Effektgröße, statistische Signifikanz und Basisraten beeinflussen allesamt die Power-Berechnung.
Mit Tools lässt sich die Stichprobengröße, die für Ihre Ziel-Power und Sensitivität nötig ist, leicht bestimmen. Ist die Stichprobe begrenzt, können die Anpassung des MDE, der Testdauer, die Nutzung historischer Daten und die Vereinfachung der Kennzahlen helfen, die Power zu maximieren.
Die Analyse der Power nach Ihrem Test liefert Kontext zu nicht signifikanten Ergebnissen. Mit einer sauberen Power-Analyse können Sie Ihre Testmethodik optimieren, falsch negative Ergebnisse vermeiden und sicherstellen, dass Sie die leistungsstärksten Varianten zuverlässig erkennen. Das führt letztlich zu mehr Umsatz und besseren Kundenerlebnissen durch Ihre Tests.
