Erstellen Sie A/B-Tests im Chat mit KI und starten Sie sie innerhalb weniger Minuten auf Ihrer Website.

Jetzt KOSTENLOS testen
INHALT
Anleitung
7
Min. Lesezeit

Wie berechnet man den p-Wert?

Donald Ng
Donald Ng
|
5-Sterne-Bewertung
4.7
Bewertungen auf G2 & Capterra

Kurze Antwort

Ein p-Wert gibt die Wahrscheinlichkeit an, Ergebnisse zu beobachten, die mindestens so extrem sind wie Ihre, wenn es tatsächlich keinen echten Unterschied zwischen Kontrolle und Variante gäbe. Bei A/B-Tests bedeutet ein p-Wert unter 0,05, dass die Wahrscheinlichkeit, dass der beobachtete Unterschied zufällig ist, unter 5 % liegt. Bei diesem Schwellenwert verwerfen Sie die Nullhypothese und erklären das Ergebnis für statistisch signifikant.

Wichtigste Erkenntnisse

  • Ein p-Wert von 0,05 bedeutet nicht, dass Ihre Variante mit 95 % Wahrscheinlichkeit besser ist. Er bedeutet, dass mit 5 % Wahrscheinlichkeit der beobachtete Unterschied allein auf Zufall beruht.
  • Berechnen Sie den p-Wert erst, wenn Sie die vorab festgelegte Stichprobengröße erreicht haben. Wird er auf Zwischendaten berechnet, steigt die Rate falsch positiver Ergebnisse erheblich.
  • Verwenden Sie bei A/B-Experimenten standardmäßig einen zweiseitigen Test, es sei denn, Sie haben einen triftigen Grund, sich nur für eine Verbesserung in eine Richtung zu interessieren.

Haben Sie sich schon mal gefragt, wie Wissenschaftler herausfinden, ob ihre Ergebnisse echt oder nur ein Zufall sind? Genau dafür gibt es p-Werte!

Schauen wir uns an, wie Sie diese praktischen Zahlen berechnen, ohne sich in der Mathe-Soße zu verlieren.

Was ist das Besondere an p-Werten?

p-Werte sind wie der Türsteher im Club der wissenschaftlichen Schlussfolgerungen. Sie helfen uns zu entscheiden, ob sich die Aufregung über unsere Ergebnisse lohnt oder ob wir lieber cool bleiben.

Im Grunde sagt uns ein p-Wert, wie wahrscheinlich es ist, unsere Ergebnisse (oder noch extremere) zu sehen, wenn in Wirklichkeit nichts Besonderes vorliegt.

">

Die Grundlagen des p-Werts

Das Wichtigste in Kürze:

  • Ein kleiner p-Wert (meist unter 0,05) bedeutet: „Wow, das ist wahrscheinlich nicht nur Zufall!“
  • Ein größerer p-Wert bedeutet: „Naja, das könnte auch einfach Zufall sein.“

Aber wie berechnen wir diese Zahlen eigentlich?

Kostenloses A/B-Test-Tool

Führen Sie Ihren nächsten A/B-Test richtig durch

Visueller Editor, 15-KB-Skript, GA4-nativ und für immer kostenlos bis zu 100.000 monatlichen Besuchern. Kein Entwickler nötig.

✓ Visueller Editor✓ 15-KB-Skript✓ GA4-Integration✓ Kostenlos bis 100.000 Besucher
Mida kostenlos testen →

p-Werte berechnen: Schritt für Schritt

1. Hypothese aufstellen

Zuerst müssen Sie wissen, was Sie testen. Angenommen, Sie fragen sich, ob eine neue Lernmethode Studierenden hilft, in Prüfungen besser abzuschneiden.

  • Nullhypothese (H0): Die neue Methode macht keinen Unterschied.
  • Alternativhypothese (H1): Die neue Methode macht einen Unterschied.

Dieser Schritt ist entscheidend, weil er Ihre gesamte Untersuchung einrahmt. Laut der American Statistical Association gilt: „Wissenschaftliche Schlussfolgerungen sowie geschäftliche oder politische Entscheidungen sollten nicht allein darauf beruhen, ob ein p-Wert einen bestimmten Schwellenwert überschreitet.“

2. Wählen Sie Ihren Test

Den richtigen Test auszuwählen ist wie die Wahl des passenden Werkzeugs für eine Aufgabe. Hier sind zwei gängige:

Zweistichproben-Z-Test

Dieser Test ist Ihre erste Wahl bei größeren Stichproben (typischerweise n > 30 pro Gruppe). Er ist sozusagen das Schweizer Taschenmesser unter den statistischen Tests. Der Z-Test setzt voraus, dass die Standardabweichung der Grundgesamtheit bekannt ist und die Daten normalverteilt sind.

Welch-t-Test

Für kleinere Stichproben (insbesondere wenn die Gruppen unterschiedlich groß sind oder ungleiche Varianzen aufweisen) ist dies die beste Wahl. Der Welch-t-Test ist eine Anpassung des Student-t-Tests und setzt keine gleichen Varianzen zwischen den Gruppen voraus.

3. Daten erheben

Stellen Sie Ihre Zahlen zusammen. Sie benötigen:

  • Die Durchschnittswerte beider Gruppen (Nutzer und Nichtnutzer der Lernmethode)
  • Wie stark die Werte streuen (Varianz)
  • Wie viele Personen in jeder Gruppe sind

Stellen Sie sicher, dass Ihre Datenerhebung unverzerrt und repräsentativ ist. Wie Nature festhält: "Eine gut konzipierte Studie kann aussagekräftiger sein als mehrere schlechte".

4. Rechnen (oder rechnen lassen)

Jetzt wird es etwas knifflig, aber keine Sorge! Meistens verwenden Sie dafür eine Software.

Für einen Welch-t-Test berechnen Sie:

Z = (x̄₁ - x̄₂) / √(σ₁² / n₁ + σ₂² / n₂)

Dabei gilt:

  • x̄₁ und x̄₂ sind die Stichprobenmittelwerte von Gruppe 1 und Gruppe 2
  • σ₁² und σ₂² sind die Populationsvarianzen von Gruppe 1 und Gruppe 2
  • n₁ und n₂ sind die Stichprobengrößen von Gruppe 1 und Gruppe 2

Mit diesem Z-Wert ermitteln Sie anschließend den p-Wert in einer Standardnormalverteilungstabelle oder mit einem Rechner.

5. Ergebnisse interpretieren

Haben Sie Ihren p-Wert? Super! Was bedeutet er jetzt?

  • Wenn p < 0,05: "Wir sind möglicherweise einer Sache auf der Spur!"
  • Wenn p ≥ 0,05: "Zurück ans Reißbrett."

Wichtig ist jedoch: Die Schwelle von 0,05 ist keine feste Regel. Ronald Fisher, der das Konzept eingeführt hat, sagte: "Kein wissenschaftlich Arbeitender hat ein festes Signifikanzniveau, bei dem er Jahr für Jahr und unter allen Umständen Hypothesen verwirft; er prüft vielmehr jeden einzelnen Fall im Licht seiner Belege und seiner Vorstellungen".

Beispiel aus der Praxis

Angenommen, Sie testen, ob ein neuer Energydrink tatsächlich "Flügel verleiht". Sie geben ihn 100 Personen und messen, wie hoch diese springen können. Weitere 100 Personen erhalten ein Placebo.

  • Durchschnittliche Sprunghöhe der Energydrink-Gruppe: 20 Zoll
  • Durchschnittliche Sprunghöhe der Placebo-Gruppe: 18 Zoll
  • Beide Gruppen haben eine Varianz von 4 Zoll

Mit einem Z-Test-Rechner erhalten Sie möglicherweise einen p-Wert von 0,03. Das ist kleiner als 0,05, sodass Sie folgern könnten: "Dieses Getränk könnte den Menschen tatsächlich einen Schub geben!"

Sobald Sie die statistische Signifikanz berechnet haben, führen Sie Ihren nächsten A/B-Test mit Mida durch: kostenloser visueller Editor, kein Code erforderlich, 15-KB-Skript.

Fazit

Bei der Berechnung von p-Werten geht es darum, ob Ihre Ergebnisse nur ein zufälliger Ausreißer sind oder ob tatsächlich etwas dahintersteckt.

Auch wenn die Mathematik komplex werden kann, ist die Idee einfach: Wie überrascht wären wir, diese Ergebnisse zu sehen, wenn in Wirklichkeit nichts passieren würde?

P-Werte sind nur ein Werkzeug im wissenschaftlichen Werkzeugkasten. Sie sind hilfreich, aber nicht die ganze Geschichte. Betrachten Sie stets das große Ganze und berücksichtigen Sie bei der Interpretation Ihrer Ergebnisse weitere Faktoren.

FAQs

F: Kann mir der p-Wert sagen, ob meine Hypothese wahr ist?
A: Nein! Er zeigt nur, wie überraschend Ihre Ergebnisse wären, wenn es keinen echten Effekt gäbe.

F: Was, wenn mein p-Wert genau 0,05 beträgt?
A: Das ist ein Grenzfall. Manche Forschende halten ihn für signifikant, andere wünschen sich mehr Belege.

F: Bedeuten kleinere p-Werte größere Effekte?
A: Nicht unbedingt. Sie bedeuten nur, dass der Effekt weniger wahrscheinlich auf Zufall beruht.

Führen Sie Ihren ersten A/B-Test in wenigen Minuten durch: 100.000 MTU kostenlos

Visueller Editor, KI-gestützte Variantenerstellung mit MidaGX, GA4-Integration und mehr. Keine Kreditkarte erforderlich, keine zeitliche Begrenzung.

Dekorative GrafikDekorative GrafikDekorative GrafikDekorative Grafik