So vermeiden Sie typische Fehler bei A/B-Tests

Wenn es darum geht, Ihre Website oder App zu verbessern, gibt es eine klassische Methode, auf die Digital-Marketer schwören: A/B-Tests. Diese Methode, auch Split-Test genannt, vergleicht zwei Versionen derselben Webseite, um herauszufinden, welche besser abschneidet. Die richtige A/B-Test-Software übernimmt die Traffic-Aufteilung, die Auslieferung der Varianten und das Tracking der Ergebnisse automatisch. So können Sie Änderungen an Ihrer Website vornehmen und sicher sein, dass sie die Nutzererfahrung oder die Conversion-Raten tatsächlich verbessern.

Aber jetzt kommt der Haken: Werden A/B-Tests nicht richtig durchgeführt, können sie zu falschen Schlussfolgerungen und suboptimalen Entscheidungen führen. Und das Schlimmste: Sie merken möglicherweise nicht einmal, dass Sie etwas falsch machen. Deshalb helfen wir Ihnen, diese typischen Fehler zu vermeiden.

Die teuersten A/B-Test-Fehler von Marketern

Die meisten A/B-Tests scheitern nicht, weil die Idee falsch war. Sie scheitern daran, wie der Test aufgesetzt, durchgeführt oder ausgewertet wurde. Die folgenden Fehler treten in der Praxis am häufigsten auf und kosten Sie am ehesten Umsatz, Glaubwürdigkeit und Schwung.

Fehler 1: Zu viele Elemente gleichzeitig testen

Ein häufiger Fehler bei A/B-Tests ist der Versuch, zu viele Variationen auf einmal zu testen. Multivariate Tests haben zwar ihre Berechtigung und können in bestimmten Szenarien nützlich sein, doch zu komplexe A/B-Tests können zu verwirrenden und nicht aussagekräftigen Ergebnissen führen.

Stellen Sie sich vor: Sie testen zwei Versionen einer Landingpage. Version A ist das Original, Version B die Alternative. In der Alternative haben Sie eine ganze Reihe von Änderungen vorgenommen: die Überschrift, das Hauptbild, die Button-Farbe und das Seitenlayout.

Nach dem Test stellen Sie fest, dass Version B besser abschneidet als Version A. Sie freuen sich, und das neuartige Design B wird zum neuen Standard. Doch es stellt sich eine wichtige Frage: Was hat die Verbesserung bewirkt? War es die überarbeitete Überschrift, das neue Bild, die geänderte Button-Farbe oder hat das neue Layout Wunder gewirkt?

Da Sie in Version B mehrere Änderungen vorgenommen haben, lässt sich leider kaum feststellen, was genau den Leistungsanstieg verursacht hat. Diese Situation bezeichnen Tester als „Interaktionseffekte“: Mehrere Änderungen können sich gegenseitig beeinflussen und unvorhersehbare Effekte erzeugen.

Dieses Problem, „zu viele Elemente gleichzeitig zu testen“, lässt Sie oft ohne klare Richtung für künftige Tests und ohne eindeutiges Verständnis dafür zurück, was Ihre Nutzer bevorzugen. Die Ergebnisse werden unscharf, und die wertvollen Erkenntnisse, die Sie sich vom Experiment erhofft haben, lassen sich weniger gut umsetzen.

Um diese typische Falle zu vermeiden, wählen Sie einen zurückhaltenderen und systematischeren Ansatz: Testen Sie jeweils nur eine Variable. Diese Methode nennt sich „Isolated Testing“ oder „One Variable Testing“. Dabei wird pro Test nur ein Element geändert, während alle anderen Elemente konstant bleiben.

Wenn Sie zum Beispiel die Conversion-Rate eines Anmeldeformulars verbessern möchten, beginnen Sie damit, ein einzelnes Element anzupassen, etwa die Überschrift des Formulars, und lassen den Rest des Formulars unverändert. Schneidet das angepasste Formular besser ab als das ursprüngliche, können Sie die bessere Performance mit Sicherheit der neuen Überschrift zuschreiben.

Isoliertes Testen ermöglicht es Marketern, genau nachzuvollziehen, wie sich die Änderung einzelner Elemente einer Webseite oder eines Marketing-Materials auf deren Performance auswirkt. Auch wenn diese Art des Testens langsamer erscheinen mag, liefert sie Ihnen tatsächlich klarere und besser umsetzbare Erkenntnisse.

Fehler 2: Ihrem Test nicht genug Zeit geben

Wer beim A/B-Testing aufs Tempo drückt, sollte wissen, wie das mit dem Konzept der statistischen Power zusammenhängt. Wenn Sie Ihren Test überstürzt beenden, kann das zu sogenannten „falsch positiven Ergebnissen“ führen. Diese erwecken den Eindruck, eine Version sei besser, obwohl Sie den Test in Wirklichkeit einfach nicht lange genug laufen ließen, damit sich die Ergebnisse stabilisieren.

Experten empfehlen in der Regel, den A/B-Test mindestens ein bis zwei Wochen laufen zu lassen. Mit dieser Laufzeit stellen Sie sicher, dass Sie genügend Daten für statistisch verlässliche Schlussfolgerungen haben. Das liegt daran, dass sich das Verhalten der Zielgruppe über die Woche hinweg tendenziell ausgleicht und tagesspezifische Ausreißer durch andere Wochentage abgeschwächt werden.

Damit kommen wir zum Konzept der „Stichprobengröße“. Die Größe Ihrer Stichprobe spielt eine entscheidende Rolle, um aussagekräftige A/B-Test-Ergebnisse zu erhalten. Ein häufiger Fehler beim Testen ist, die Auswirkung einer kleinen Stichprobe auf die Genauigkeit und Zuverlässigkeit der Testergebnisse nicht zu verstehen.

Die gute Nachricht: Dieses Problem lässt sich mit einem Stichprobengrößen-Rechner beseitigen. Dieser Rechner verwendet drei zentrale Parameter, um die optimale Stichprobengröße zu ermitteln:

• Basis-Conversion-Rate (CR%): Das ist die Conversion-Rate Ihrer Kontrollgruppe, bevor Sie Änderungen vornehmen. Wenn Sie Ihre Basisrate kennen, wissen Sie, wo Sie starten, und können einen Uplift in den Ergebnissen einordnen.
• Minimum Detectable Effect (MDE): Er legt die kleinste Veränderung fest, die Sie erkennen möchten. Wichtig ist: Ein kleinerer MDE erfordert eine größere Stichprobe. Wenn Sie beispielsweise eine Veränderung von nur ±5 % gegenüber Ihrer Basis-Conversion erkennen möchten, benötigen Sie eine größere Stichprobe, als wenn Sie eine Veränderung von ±20 % anstreben.
• Statistische Signifikanz: Sie gibt die Wahrscheinlichkeit an, dass der Unterschied der Conversion-Raten zwischen A und B nicht auf Zufall beruht. Einfacher gesagt: Sie spiegelt das Vertrauen des Testers in das Testergebnis wider. Ein gängiger Wert im A/B-Testing ist 95 %, was bedeutet, dass die Ergebnisse nur mit einer Wahrscheinlichkeit von 5 % zufällig entstanden sind.

Wenn Sie diese Faktoren bestimmen, können Sie die optimale Stichprobengröße für Ihren Test berechnen. So beenden Sie Ihren Test weder zu früh noch lassen Sie ihn weiterlaufen, obwohl Sie bereits ein eindeutiges Ergebnis haben.

Fehler 3: Statistische Signifikanz ignorieren

Bei der Analyse der Daten Ihrer A/B-Tests ist es sehr verlockend, sich vor allem auf Conversion-Raten oder andere Leistungskennzahlen zu konzentrieren. Sie sind zweifellos wichtig, liefern aber nicht das vollständige Bild, solange keine statistisch signifikanten Belege dahinterstehen.

Kurz gesagt: Statistische Signifikanz ist eine mathematische Berechnung, die die Wahrscheinlichkeit beziffert, dass der Leistungsunterschied zwischen den beiden Varianten nicht auf Zufall beruht. Sie zeigt uns, ob wir eine beobachtete Veränderung der Conversion-Raten sicher auf unsere Anpassungen zurückführen können und nicht auf zufällige Schwankungen in den Daten.

Wer die statistische Signifikanz ignoriert, begibt sich auf einen problematischen Weg und trifft Entscheidungen auf Basis bloßer Beobachtungen, ohne belastbare Belege für deren Gültigkeit.

Ein eng verwandtes Konzept sind Konfidenzniveaus, wobei der Branchenstandard in der Regel bei 95 % liegt. Das bedeutet: Wenn Sie Ihr Experiment 100-mal unter denselben Bedingungen wiederholen würden, würden Sie 95-mal dasselbe Ergebnis erwarten. So lässt sich messen, wie sicher wir sein können, dass Ihre A/B-Test-Ergebnisse nicht bloß durch Glück oder Zufall zustande gekommen sind.

Doch wie sieht das in der Praxis aus?

Es bedeutet, den p-Wert zu betrachten, eine Dezimalzahl zwischen 0 und 1, die die Wahrscheinlichkeit angibt, dass Ihre Ergebnisse zufällig entstanden sind. In der Regel entspricht ein p-Wert von unter 0,05 (also einer Wahrscheinlichkeit von 5 %) einem Konfidenzniveau von 95 % und deutet auf signifikante Ergebnisse hin.

Je niedriger Ihr p-Wert, desto sicherer können Sie sein, dass Ihre Änderungen die beobachteten Unterschiede bewirkt haben. Ein höherer p-Wert (über 0,05) bedeutet, dass die Ergebnisse mit größerer Wahrscheinlichkeit auf Zufall zurückzuführen sind.

Auch wenn 95 % als Schwellenwert allgemein anerkannt sind, gibt es beim Konfidenzniveau keine Lösung, die für alle passt. Wenn die getesteten Änderungen potenziell erhebliche Auswirkungen haben (positiv oder negativ), können Sie sich für einen vorsichtigeren Ansatz entscheiden und ein Konfidenzniveau von 99 % verwenden.

Fehler 4: Rosinenpickerei bei den Ergebnissen

Beim A/B-Testing ist es menschlich, sich über die Aussicht auf Erfolg zu freuen. Es kommt nicht selten vor, dass Marketer erleichtert aufatmen und einen Test vorzeitig beenden, wenn erste Daten darauf hindeuten, dass ihr neues Webseiten-Design oder ihre neue Überschrift besser abschneidet als die Kontrollvariante. Leider kann diese impulsive Reaktion zu verzerrten Ergebnissen und falschen Annahmen führen.

Diese Herangehensweise beim A/B-Testing wird meist als „Cherry-Picking“ (Rosinenpickerei) bezeichnet. Dabei beendet man einen Test vorzeitig und erklärt einen Gewinner, sobald sich positive Ergebnisse zeigen. Das ist, als würden Sie bei einem 100-Meter-Lauf den Sieger bereits bei der 20-Meter-Marke küren, nur weil ein Läufer in diesem Moment vorne liegt.

Auch dafür gibt es einen Begriff: „Peeking“. Wenn Sie vor dem Ende des Tests auf Ihre Ergebnisse schauen, steigt das Risiko erheblich, Änderungen auf Basis von falsch positiven oder falsch negativen Ergebnissen vorzunehmen. Das sind irreführende Ergebnisse, die eine bedeutsame Veränderung suggerieren, obwohl es keine gab, oder umgekehrt.

Um die Risiken von Rosinenpickerei (Cherry-Picking) und vorzeitigem Hineinschauen (Peeking) zu vermeiden, müssen Sie vor dem Start des A/B-Tests klare Testprotokolle festlegen. Bestimmen Sie die Testdauer und die minimale Stichprobengröße im Voraus und halten Sie sich daran. Selbst wenn erste Ergebnisse deutlich für eine bestimmte Variante sprechen, widerstehen Sie dem Drang, vorschnell einen Gewinner zu küren. Stellen Sie sicher, dass der Test vollständig durchläuft und die gewünschte Stichprobengröße erreicht, um die Integrität der Ergebnisse zu wahren.

Diese disziplinierte Vorgehensweise ist nicht immer leicht durchzuhalten, besonders wenn frühe Daten auf einen klaren Gewinner hindeuten. Doch denken Sie daran: A/B-Testing ist ein Marathon, kein Sprint. Ungeduld und voreilige Entscheidungen können zu falsch begründeten Änderungen führen, die nicht die gewünschten Verbesserungen bringen oder sich sogar negativ auf die Nutzererfahrung auswirken.

Denken Sie stets an den Grundsatz: „Außergewöhnliche Behauptungen erfordern außergewöhnliche Beweise.“

Wenn die neue Variante Ihre Kontrollversion deutlich zu übertreffen scheint, ist es umso wichtiger, dieses Ergebnis mit einem umfassenden und robusten A/B-Test zu überprüfen, der etablierte Protokolle einhält. So schützen Sie Ihr Unternehmen vor kostspieligen Fehlern und ebnen den Weg für echte Verbesserungen der Leistung Ihrer Website.

Fehler 5: Externe Faktoren übersehen

Ihre Performance kann stark von einer Vielzahl externer Variablen beeinflusst werden, die nichts mit den getesteten Änderungen zu tun haben. Sie können nicht alle davon kontrollieren, sollten sie aber im Blick behalten, da sie Ihre Ergebnisse erheblich verzerren können.

Angenommen, Sie sind ein E-Commerce-Unternehmen und führen einen A/B-Test während der Weihnachtszeit durch. In dieser Phase steigen die Umsätze aufgrund höherer Konsumausgaben in der Regel stark an. Wenn Sie zu dieser Zeit Änderungen an Ihrer Website vornehmen und einen Umsatzanstieg bemerken, ist es naheliegend, diesen Anstieg Ihren Änderungen zuzuschreiben. Er kann jedoch einfach auf den saisonalen Einkaufsansturm zurückzuführen sein und nichts mit Ihren Anpassungen zu tun haben.

Hier sind einige mögliche externe Faktoren, die Sie bei der Analyse Ihrer A/B-Test-Ergebnisse berücksichtigen sollten:

• ‍Saisonale Faktoren: Dazu gehören Feiertage, Unterschiede zwischen Wochenende und Werktagen, Zahltage, Jahreszeiten und mehr. Jede Branche hat ihre eigenen Faktoren, in der Reisebranche zum Beispiel können es die Schulferien sein.‍
• Marketingkampagnen: Auch große Marketingkampagnen, die parallel zu Ihren A/B-Tests laufen, können die Ergebnisse beeinflussen. Solche Kampagnen können untypischen Traffic auf Ihre Website bringen, der sich anders verhält als Ihre reguläre Zielgruppe.‍
• Website-Ausfälle oder Abstürze: Auch technische Störungen können Ihre Ergebnisse beeinträchtigen. Ihre Daten können verzerrt sein, wenn Probleme Nutzer von Ihrer Website vertreiben oder sie daran hindern, Aktionen abzuschließen. ‍
• Nachrichten & Ereignisse: Branchennachrichten, regulatorische Änderungen oder bedeutende gesellschaftliche Ereignisse können das Nutzerverhalten ebenfalls vorübergehend beeinflussen.

Auch wenn es vielleicht nicht möglich ist, jeden Faktor zu kontrollieren, hilft es sehr, sich dieser externen Einflüsse bewusst zu sein und sie zu berücksichtigen, um echte, unverfälschte Ergebnisse aus Ihren A/B-Tests zu erhalten.

Überlegen Sie, Ihre Testumgebung so zu gestalten, dass regelmäßige Muster wie tägliche oder wöchentliche Trends berücksichtigt werden. Oder Sie führen Tests in einem festgelegten Zeitraum durch, in dem Sie keine bedeutenden externen Ereignisse oder Störungen erwarten.

Außerdem benötigen Sie möglicherweise anspruchsvollere statistische Modelle wie Multi-Armed-Bandit-Tests oder die Einrichtung spezifischer Kontrollgruppen, wenn Ihr A/B-Testing-Setup komplex und groß angelegt ist und verschiedene externe Faktoren im Spiel sind.

Mit einer sorgfältigen, methodischen Vorgehensweise, die den Einfluss externer Faktoren berücksichtigt, gewinnen Sie genauere und zuverlässigere Erkenntnisse aus Ihren A/B-Tests. So können Sie evidenzbasierte Geschäftsentscheidungen treffen und Ihre Website-Ziele erreichen.

Fehler 6: Falsch-Positive und Falsch-Negative durch Segmente mit zu geringer Teststärke ignorieren

Einer der hartnäckigsten Fehler beim A/B-Testing ist es, aggregierte Ergebnisse für die ganze Geschichte zu halten. Ein Experiment kann insgesamt eine Verbesserung von nur 0,5 % zeigen und dabei einen Zuwachs von 15 % bei mobilen Nutzern sowie einen Rückgang von 10 % bei Desktop-Nutzern verbergen. Wenn Sie den „Gewinner“ ausrollen, ohne die Ergebnisse auf Segmentebene zu prüfen, stellen Sie möglicherweise eine Gruppe deutlich schlechter und erfahren es nie.

Falsch-Positive, bei denen ein Test zu gewinnen scheint, das Ergebnis aber nur Rauschen ist, werden deutlich wahrscheinlicher, wenn Sie Post-hoc-Segmentanalysen ohne Anpassung für Mehrfachvergleiche durchführen. Die Lösung: Definieren Sie Ihre wichtigsten Segmente (Gerät, Traffic-Quelle, neue vs. wiederkehrende Nutzer) vor dem Start und nicht erst, nachdem Sie die Zahlen gesehen haben. Jedes Segment, das nicht vorab festgelegt wurde, sollte als explorativ und nicht als aussagekräftig behandelt werden.

Falsch-Negative wirken in die andere Richtung: Ein echter Effekt wird übersehen, weil die Stichprobe zu klein war, der Test zu kurz lief oder der minimal nachweisbare Effekt zu hoch angesetzt wurde. Ein Stichprobenrechner vor dem Start, nicht währenddessen oder danach, ist der einfachste Weg, beide Fehlerarten zu vermeiden. Wenn Sie die erforderliche Stichprobe nicht in einem vertretbaren Zeitraum erreichen können, ist der Test bei diesem Traffic-Niveau nicht sinnvoll durchführbar.

Fehler 7: Das falsche A/B-Testing-Tool für die Aufgabe wählen

Nicht alle A/B-Testing-Plattformen sind gleich, und die Wahl der falschen führt zu Problemen, die keine Testmethodik beheben kann. Die häufigsten Fehler bei der Plattformwahl sind: ein Tool mit einem so schweren Skript zu wählen, dass es Ihre Seiten verlangsamt (und damit genau die Conversion-Raten verschlechtert, die Sie verbessern wollen), ein Tool ohne zuverlässige Anti-Flicker-Funktion zu nutzen (was sichtbare Layout-Sprünge verursacht, die die Absprungraten erhöhen), und für Enterprise-Funktionen zu bezahlen, die ein kleines Team nie nutzen wird.

Das richtige Tool passt zum Workflow Ihres Teams. Wenn Marketer die meisten Tests verantworten, benötigen sie einen visuellen Editor und No-Code-Targeting. Wenn Entwickler die Tests verantworten, benötigen sie Unterstützung für individuelles JavaScript und ein zuverlässiges SDK. Wenn Performance eine Priorität ist, und das sollte sie auf Seiten mit hoher Conversion-Rate sein, muss das Testing-Skript selbst klein und schnell sein. Das Skript von Mida ist komprimiert 15 KB groß, im Vergleich zu 150 bis 200 KB und mehr bei einigen Enterprise-Plattformen.

Bevor Sie sich auf eine Plattform festlegen, führen Sie einen echten Test auf einer echten Seite durch. Vergleichen Sie, wie lange es von der Hypothese bis zu einer QA-fertigen Variante dauert, prüfen Sie, ob das Skript die Ladezeit der Seite spürbar beeinflusst, und stellen Sie sicher, dass das statistische Reporting zur Entscheidungsfindung Ihres Teams passt. Ein Tool, das Ihre Website verlangsamt, Ihr Team verwirrt oder unlesbare Berichte liefert, ist ein Fehler, der sich mit jedem weiteren Test verstärkt.

Fazit

A/B-Testing kann eine äußerst leistungsstarke Methodik sein, aber nur, wenn es richtig umgesetzt wird. Vermeiden Sie diese häufigen Fallstricke, und Sie sind auf einem guten Weg, datenbasierte Entscheidungen zu treffen, die Ihre Conversions und die Nutzererfahrung verbessern.