Wie berechnet man den p-Wert?
Kurze Antwort
Ein p-Wert gibt die Wahrscheinlichkeit an, Ergebnisse zu beobachten, die mindestens so extrem sind wie Ihre, wenn es tatsächlich keinen echten Unterschied zwischen Kontrolle und Variante gäbe. Bei A/B-Tests bedeutet ein p-Wert unter 0,05, dass die Wahrscheinlichkeit, dass der beobachtete Unterschied zufällig ist, unter 5 % liegt. Bei diesem Schwellenwert verwerfen Sie die Nullhypothese und erklären das Ergebnis für statistisch signifikant.
Wichtigste Erkenntnisse
- Ein p-Wert von 0,05 bedeutet nicht, dass Ihre Variante mit 95 % Wahrscheinlichkeit besser ist. Er bedeutet, dass mit 5 % Wahrscheinlichkeit der beobachtete Unterschied allein auf Zufall beruht.
- Berechnen Sie den p-Wert erst, wenn Sie die vorab festgelegte Stichprobengröße erreicht haben. Wird er auf Zwischendaten berechnet, steigt die Rate falsch positiver Ergebnisse erheblich.
- Verwenden Sie bei A/B-Experimenten standardmäßig einen zweiseitigen Test, es sei denn, Sie haben einen triftigen Grund, sich nur für eine Verbesserung in eine Richtung zu interessieren.
Haben Sie sich schon mal gefragt, wie Wissenschaftler herausfinden, ob ihre Ergebnisse echt oder nur ein Zufall sind? Genau dafür gibt es p-Werte!
Schauen wir uns an, wie Sie diese praktischen Zahlen berechnen, ohne sich in der Mathe-Soße zu verlieren.
Was ist das Besondere an p-Werten?
p-Werte sind wie der Türsteher im Club der wissenschaftlichen Schlussfolgerungen. Sie helfen uns zu entscheiden, ob sich die Aufregung über unsere Ergebnisse lohnt oder ob wir lieber cool bleiben.
Im Grunde sagt uns ein p-Wert, wie wahrscheinlich es ist, unsere Ergebnisse (oder noch extremere) zu sehen, wenn in Wirklichkeit nichts Besonderes vorliegt.
Die Grundlagen des p-Werts
Das Wichtigste in Kürze:
- Ein kleiner p-Wert (meist unter 0,05) bedeutet: „Wow, das ist wahrscheinlich nicht nur Zufall!“
- Ein größerer p-Wert bedeutet: „Naja, das könnte auch einfach Zufall sein.“
Aber wie berechnen wir diese Zahlen eigentlich?
Kostenloses A/B-Test-Tool
Führen Sie Ihren nächsten A/B-Test richtig durch
Visueller Editor, 15-KB-Skript, GA4-nativ und für immer kostenlos bis zu 100.000 monatlichen Besuchern. Kein Entwickler nötig.
p-Werte berechnen: Schritt für Schritt
1. Hypothese aufstellen
Zuerst müssen Sie wissen, was Sie testen. Angenommen, Sie fragen sich, ob eine neue Lernmethode Studierenden hilft, in Prüfungen besser abzuschneiden.
- Nullhypothese (H0): Die neue Methode macht keinen Unterschied.
- Alternativhypothese (H1): Die neue Methode macht einen Unterschied.
Dieser Schritt ist entscheidend, weil er Ihre gesamte Untersuchung einrahmt. Laut der American Statistical Association gilt: „Wissenschaftliche Schlussfolgerungen sowie geschäftliche oder politische Entscheidungen sollten nicht allein darauf beruhen, ob ein p-Wert einen bestimmten Schwellenwert überschreitet.“
2. Wählen Sie Ihren Test
Den richtigen Test auszuwählen ist wie die Wahl des passenden Werkzeugs für eine Aufgabe. Hier sind zwei gängige:
Zweistichproben-Z-Test
Dieser Test ist Ihre erste Wahl bei größeren Stichproben (typischerweise n > 30 pro Gruppe). Er ist sozusagen das Schweizer Taschenmesser unter den statistischen Tests. Der Z-Test setzt voraus, dass die Standardabweichung der Grundgesamtheit bekannt ist und die Daten normalverteilt sind.
Welch-t-Test
Für kleinere Stichproben (insbesondere wenn die Gruppen unterschiedlich groß sind oder ungleiche Varianzen aufweisen) ist dies die beste Wahl. Der Welch-t-Test ist eine Anpassung des Student-t-Tests und setzt keine gleichen Varianzen zwischen den Gruppen voraus.
3. Daten erheben
Stellen Sie Ihre Zahlen zusammen. Sie benötigen:
- Die Durchschnittswerte beider Gruppen (Nutzer und Nichtnutzer der Lernmethode)
- Wie stark die Werte streuen (Varianz)
- Wie viele Personen in jeder Gruppe sind
Stellen Sie sicher, dass Ihre Datenerhebung unverzerrt und repräsentativ ist. Wie Nature festhält: "Eine gut konzipierte Studie kann aussagekräftiger sein als mehrere schlechte".
4. Rechnen (oder rechnen lassen)
Jetzt wird es etwas knifflig, aber keine Sorge! Meistens verwenden Sie dafür eine Software.
Für einen Welch-t-Test berechnen Sie:
Z = (x̄₁ - x̄₂) / √(σ₁² / n₁ + σ₂² / n₂)
Dabei gilt:
- x̄₁ und x̄₂ sind die Stichprobenmittelwerte von Gruppe 1 und Gruppe 2
- σ₁² und σ₂² sind die Populationsvarianzen von Gruppe 1 und Gruppe 2
- n₁ und n₂ sind die Stichprobengrößen von Gruppe 1 und Gruppe 2
Mit diesem Z-Wert ermitteln Sie anschließend den p-Wert in einer Standardnormalverteilungstabelle oder mit einem Rechner.
5. Ergebnisse interpretieren
Haben Sie Ihren p-Wert? Super! Was bedeutet er jetzt?
- Wenn p < 0,05: "Wir sind möglicherweise einer Sache auf der Spur!"
- Wenn p ≥ 0,05: "Zurück ans Reißbrett."
Wichtig ist jedoch: Die Schwelle von 0,05 ist keine feste Regel. Ronald Fisher, der das Konzept eingeführt hat, sagte: "Kein wissenschaftlich Arbeitender hat ein festes Signifikanzniveau, bei dem er Jahr für Jahr und unter allen Umständen Hypothesen verwirft; er prüft vielmehr jeden einzelnen Fall im Licht seiner Belege und seiner Vorstellungen".
Beispiel aus der Praxis
Angenommen, Sie testen, ob ein neuer Energydrink tatsächlich "Flügel verleiht". Sie geben ihn 100 Personen und messen, wie hoch diese springen können. Weitere 100 Personen erhalten ein Placebo.
- Durchschnittliche Sprunghöhe der Energydrink-Gruppe: 20 Zoll
- Durchschnittliche Sprunghöhe der Placebo-Gruppe: 18 Zoll
- Beide Gruppen haben eine Varianz von 4 Zoll
Mit einem Z-Test-Rechner erhalten Sie möglicherweise einen p-Wert von 0,03. Das ist kleiner als 0,05, sodass Sie folgern könnten: "Dieses Getränk könnte den Menschen tatsächlich einen Schub geben!"
Sobald Sie die statistische Signifikanz berechnet haben, führen Sie Ihren nächsten A/B-Test mit Mida durch: kostenloser visueller Editor, kein Code erforderlich, 15-KB-Skript.
Fazit
Bei der Berechnung von p-Werten geht es darum, ob Ihre Ergebnisse nur ein zufälliger Ausreißer sind oder ob tatsächlich etwas dahintersteckt.
Auch wenn die Mathematik komplex werden kann, ist die Idee einfach: Wie überrascht wären wir, diese Ergebnisse zu sehen, wenn in Wirklichkeit nichts passieren würde?
P-Werte sind nur ein Werkzeug im wissenschaftlichen Werkzeugkasten. Sie sind hilfreich, aber nicht die ganze Geschichte. Betrachten Sie stets das große Ganze und berücksichtigen Sie bei der Interpretation Ihrer Ergebnisse weitere Faktoren.
FAQs
F: Kann mir der p-Wert sagen, ob meine Hypothese wahr ist?
A: Nein! Er zeigt nur, wie überraschend Ihre Ergebnisse wären, wenn es keinen echten Effekt gäbe.
F: Was, wenn mein p-Wert genau 0,05 beträgt?
A: Das ist ein Grenzfall. Manche Forschende halten ihn für signifikant, andere wünschen sich mehr Belege.
F: Bedeuten kleinere p-Werte größere Effekte?
A: Nicht unbedingt. Sie bedeuten nur, dass der Effekt weniger wahrscheinlich auf Zufall beruht.