A/B-Testing erklärt: Der komplette Leitfaden 2026

Kurze Antwort

Beim A/B-Testing (auch Split-Testing genannt) werden zwei Versionen einer Seite oder eines Elements gleichzeitig getrennten Gruppen echter Besucher gezeigt. Gemessen wird, welche Version das gewünschte Ergebnis stärker beeinflusst: Anmeldungen, Käufe, Klicks oder Umsatz pro Besucher. Zuverlässige Ergebnisse entstehen nur, wenn Sie vor dem Erstellen einer Variante eine klare Hypothese formulieren, vor dem Start die erforderliche Stichprobengröße berechnen und den Test bis zum Ende laufen lassen, ohne vorzeitig auf Zwischenergebnisse zu schauen.

Wichtigste Erkenntnisse

• Beim A/B-Testing geht es nicht darum, Seiten schöner zu gestalten, sondern darum zu belegen, ob eine Änderung Besucher tatsächlich eher zur Conversion bewegt. Wer Änderungen ohne Kontrollgruppe ausrollt, kann den Effekt der Änderung nicht von Saisonalität, Traffic-Mix oder Werbeanzeigen trennen.
• Die vier Schritte in der richtigen Reihenfolge: Hypothese formulieren → Stichprobengröße berechnen → beide Versionen gleichzeitig ausspielen → analysieren und entscheiden. Eine übersprungene Berechnung der Stichprobengröße oder ein vorzeitiger Abbruch sind die zwei häufigsten Ursachen für falsch positive Ergebnisse.
• Über alle Tests großer Technologieunternehmen hinweg verbessert etwa ein Drittel der Ideen die primäre Kennzahl, ein Drittel bewirkt keine Veränderung und ein Drittel schadet. Genau deshalb ist Testen vor dem Rollout eine Frage des Risikomanagements und nicht nur eine Marketingtaktik.

A/B-Testing ist der direkteste Weg, die Frage zu beantworten, der sich jedes Growth-Team irgendwann stellen muss: Hat diese Änderung tatsächlich geholfen? Dieser Leitfaden erklärt, was A/B-Testing ist, wie es statistisch funktioniert, wie Sie einen Test korrekt durchführen, was Sie testen können und wo Teams Fehler machen, mit Links zu den jeweiligen Leitfäden, die jedes Thema im Detail behandeln.

Was ist A/B-Testing?

Ein A/B-Test teilt den eingehenden Traffic zufällig in zwei Gruppen auf. Gruppe A sieht die Originalversion (die Kontrolle). Gruppe B sieht eine geänderte Version (die Variante). Beide Gruppen werden über denselben Zeitraum anhand derselben Kennzahl gemessen: Conversion-Rate, Rate der In-den-Warenkorb-Legungen, Umsatz pro Besucher, Anmelderate oder jedes andere relevante Ergebnis. Am Ende vergleichen Sie die Ergebnisse, um festzustellen, ob die Änderung eine echte Wirkung hatte oder ob ein Unterschied im Rahmen normaler Schwankungen liegt.

Die zentrale Voraussetzung ist Gleichzeitigkeit. Version A in einer Woche und Version B in der nächsten auszuspielen, ist kein A/B-Test, sondern ein Vorher-nachher-Vergleich, der anfällig für alle externen Einflüsse ist, die sich zwischen den beiden Zeiträumen verändert haben könnten. Ein korrekter A/B-Test hält Traffic-Qualität, Saisonalität, Werbemix und externe Ereignisse für beide Gruppen konstant, weil sich all diese Störfaktoren gleichmäßig auf beide verteilen.

A/B-Testing und Split-Testing werden oft synonym verwendet, der Unterschied liegt hauptsächlich in der Terminologie. Die zugrunde liegende Methode ist dieselbe: Zielgruppe aufteilen, jeder Gruppe eine Version zeigen und messen. Was „A“ und „B“ bedeuten, ist ebenfalls wichtig: A ist immer die aktuell live geschaltete Erfahrung (die Kontrolle), und B ist der Herausforderer.

Warum überhaupt A/B-Testing?

Der ehrliche Grund: Die Intuition von Experten ist ein schlechter Indikator dafür, welche Produktänderungen Kennzahlen tatsächlich verbessern. Untersuchungen des Experimentation-Teams von Microsoft haben gezeigt, dass selbst erfahrene Product Manager die Richtung eines A/B-Test-Ergebnisses nur in etwa 50 % der Fälle richtig vorhersagen, bei vielen Entscheidungen also nicht besser als ein Münzwurf. Das Argument für A/B-Testing lautet nicht, dass es das Urteilsvermögen ersetzt, sondern dass es es korrigiert.

Die Kosten eines Irrtums sind asymmetrisch. Wenn Sie eine erfolgreiche Änderung ohne Test ausrollen, gewinnen Sie nichts, was Sie durch vorheriges Testen nicht auch gewonnen hätten, Sie hatten schlicht Glück. Wenn Sie eine erfolglose Änderung ohne Test ausrollen, bemerken Sie das Problem womöglich erst nach Wochen oder Monaten, weil es ohne eine laufende Kontrolle keinen sauberen Vergleichswert gibt, an dem sich der Rückgang erkennen lässt. Das ist das Kernargument dafür, warum Sie Änderungen vor dem Ausrollen testen sollten.

Manche Teams scheuen das Testen noch immer, weil es sich langsam anfühlt. Die Frustrationen beim A/B-Testing sind real, lassen sich aber fast immer darauf zurückführen, dass die falschen Dinge getestet werden (kleine kosmetische Änderungen auf Seiten mit wenig Traffic) und nicht auf ein grundsätzliches Problem der Methodik.

So funktioniert A/B-Testing: die Mechanik

Wenn ein Besucher auf einer Seite landet, auf der ein Test läuft, weist das Testing-Tool ihn einer Variante zu, meist per Hashing einer Besucherkennung (Cookie, Geräte-ID oder Sitzungs-ID) mit der Experimentkonfiguration. Diese Zuweisung ist dauerhaft: Derselbe Besucher sieht immer dieselbe Variante. So wird das Problem des „Experience Switching“ vermieden, bei dem ein Besucher bei verschiedenen Besuchen unterschiedliche Versionen sieht.

Der Traffic wird gemäß der von Ihnen festgelegten Verteilung aufgeteilt, bei einem Test mit zwei Varianten typischerweise 50/50. Das Tool verfolgt das weitere Verhalten jedes Besuchers, bis ein Conversion-Ereignis eintritt oder die Sitzung endet. In der Analysephase werden die Conversion-Raten (oder andere Kennzahlen) beider Gruppen mit statistischen Methoden verglichen, um festzustellen, ob ein beobachteter Unterschied größer ist, als es zufällige Schwankungen allein erzeugen würden.

Mit einem clientseitigen Testing-Tool können Sie einen A/B-Test durchführen, ohne die URL zu ändern. Split-Testing ohne URL-Änderung funktioniert, indem DOM-Änderungen der Variante eingefügt werden, bevor die Seite gerendert wird. So landen beide Besucher unter derselben Adresse, sehen aber unterschiedliche Erlebnisse. Alternativ schickt Redirect-Testing (URL-Split) jede Gruppe auf eine andere URL, was sich eignet, um völlig unterschiedliche Seitendesigns oder Layouts zu testen.

Das A/B-Testing-Framework: fünf Schritte

Schritt 1: Eine testbare Hypothese formulieren

Jeder A/B-Test sollte mit einer Hypothese beginnen, die drei Dinge festlegt: was Sie ändern, warum Sie glauben, dass es die Kennzahl verbessert, und welche Kennzahl sich Ihrer Erwartung nach verändert. Die Formel lautet:

Die Änderung von [Element] von [aktueller Zustand] auf [neuer Zustand] wird [Kennzahl] [erhöhen/senken], weil [auf dem Nutzerverhalten beruhender Grund].

Beispiel: Wenn Sie das Hero-Bild des Produkts von einem Packshot auf weißem Hintergrund durch ein Lifestyle-Foto ersetzen, steigt die Warenkorbrate, weil Kunden sich das Produkt in der Anwendung besser vorstellen können.

Die Qualität der Hypothese ist der größte Einzelfaktor für den ROI Ihres Experiment-Portfolios. A/B-Test-Ideen mit hoher Wirkung entstehen, wenn Sie Analysedaten (wo springen Besucher ab?) mit qualitativen Signalen (was sagen Besucher in Umfragen oder Aufzeichnungen?) kombinieren. Ein gut strukturiertes Hypothesen-Backlog verhindert, dass Teams standardmäßig kosmetische Änderungen ohne verhaltensbasierte Begründung umsetzen.

Schritt 2: Stichprobengröße vor dem Start berechnen

Der häufigste statistische Fehler beim A/B-Testing ist, einen Test zu starten, ohne zu wissen, wie viele Besucher nötig sind, um einen echten Effekt zu erkennen. Ohne diese Berechnung brechen Teams entweder zu früh ab (was falsch positive Ergebnisse erhöht) oder lassen den Test viel zu lange laufen (und verschwenden Zeit bei einem bereits eindeutigen Ergebnis).

Die Stichprobengröße hängt von drei Eingaben ab: Ihrer aktuellen Basis-Conversion-Rate, dem minimalen Uplift, den Sie erkennen möchten (dem Minimum Detectable Effect, kurz MDE), und dem gewünschten statistischen Konfidenzniveau (meist 95 %). Nutzen Sie vor dem Start den Stichprobenrechner für A/B-Tests. Wenn die erforderliche Stichprobe mehr Traffic bedeutet, als Ihre Seite in einem vertretbaren Zeitraum erhält, sollten Sie eine größere Änderung testen, eine Seite mit mehr Traffic wählen oder einen größeren MDE akzeptieren. Wie viel Traffic Sie tatsächlich benötigen, hängt von der Basis-Conversion-Rate ab: Seiten mit niedriger Conversion brauchen weit mehr Besucher als Seiten mit hoher Conversion, um denselben absoluten Uplift zu erkennen.

Schritt 3: Beide Versionen gleichzeitig ausspielen

Sobald der Test live ist, gilt vor allem: Geduld. Wie lange ein A/B-Test laufen sollte, bestimmt die Berechnung der Stichprobengröße und nicht der Eindruck, den das Dashboard an einem Dienstagnachmittag macht. Praktisch gilt immer eine Untergrenze von mindestens einer vollen Woche, denn die Traffic-Muster an Montagen und Samstagen unterscheiden sich oft stark, und ein Test, der kürzer als ein vollständiger Geschäftszyklus läuft, erfasst diese Schwankung asymmetrisch.

Das größte Risiko bei der Durchführung ist das Peeking: Ergebnisse mitten im Test zu prüfen und ihn zu beenden, sobald sie signifikant erscheinen. Jede zusätzliche Kontrolle eines laufenden Tests erhöht die effektive Rate falsch positiver Ergebnisse. Ein Test mit einer festgelegten Konfidenzschwelle von 95 %, der während der Laufzeit fünfmal geprüft wird, kann eine tatsächliche Rate falsch positiver Ergebnisse von 20 bis 30 % haben. Sequenzielle Testverfahren können einen vorzeitigen Abbruch legitim erlauben, klassische frequentistische Signifikanztests dagegen nicht.

Bei Tests auf Elementen unterhalb des sichtbaren Bereichs der Seite erfordern Below-the-Fold-A/B-Tests eine Filterung nach Scrolltiefe. Andernfalls sind Ihre Kontroll- und Variantengruppen nicht vergleichbar, da nur Besucher, die weit genug gescrollt haben, das getestete Element überhaupt gesehen haben.

Schritt 4: Ergebnisse richtig auswerten

Wenn der Test die zuvor festgelegte Stichprobengröße erreicht hat, betrachten Sie der Reihe nach drei Dinge: statistische Signifikanz, praktische Signifikanz und Aufschlüsselungen nach Segmenten.

Die statistische Signifikanz zeigt, wie wahrscheinlich der beobachtete Unterschied auf Zufall beruht. Statistische Signifikanz richtig zu interpretieren bedeutet, den p-Wert im Kontext Ihrer zuvor festgelegten Schwelle zu lesen und nicht nachträglich nach Signifikanz zu suchen. Warum 95 % zum Standard wurden, liegt teils an der Konvention, spiegelt aber auch ein praktisches Gleichgewicht zwischen dem Risiko von Fehlern 1. und 2. Art wider.

Praktische Signifikanz bedeutet, ob der gemessene Uplift groß genug ist, um die dauerhafte Einführung der Änderung zu rechtfertigen. Ein statistisch signifikanter Conversion-Uplift von 0,2 % rechtfertigt möglicherweise nicht den technischen Wartungsaufwand, eine Variante live zu halten. Wie Sie A/B-Test-Ergebnisse auswerten, behandelt beide Dimensionen gemeinsam, einschließlich Segment-Aufschlüsselungen nach Gerät, Quelle sowie neuen und wiederkehrenden Besuchern. Eine Variante kann im Durchschnitt gewinnen und dennoch ein wichtiges Teilsegment beeinträchtigen.

Weitere statistische Grundlagen finden Sie hier: Fehler 1. und 2. Art, so berechnen Sie einen p-Wert, so berechnen Sie die statistische Power, so erhöhen Sie die statistische Power und einseitige vs. zweiseitige Tests.

Schritt 5: Ausrollen, verwerfen oder daraus lernen

Gewinnt die Variante bei der primären Kennzahl, ohne Guardrail-Metriken zu verschlechtern, rollen Sie sie aus. Verliert sie, behalten Sie die Kontrollversion und dokumentieren, was der Test Sie gelehrt hat: Verlierende Tests verkleinern den Suchraum für künftige Hypothesen. Zeigt sich kein Unterschied, entscheiden Sie, ob sich der operative Aufwand der Änderung auch ohne Conversion-Nachweis lohnt.

Dokumentieren Sie jedes Ergebnis in einem gemeinsamen Log. Der kumulative Wert eines A/B-Testing-Programms entsteht durch die Wissensbibliothek, nicht nur durch einzelne Gewinner.

Was Sie per A/B-Test prüfen können

Fast jedes Element, mit dem Besucher auf dem Weg zur Conversion interagieren, lässt sich testen. Die Kategorien mit dem größten Hebel sind:

Texte und Botschaften

Überschriften, CTA-Texte, Unterüberschriften, Produktbeschreibungen, Preisdarstellung, dringlichkeitsorientierte Sprache und Aussagen zum Wertversprechen. Text-Tests lassen sich oft am schnellsten umsetzen und erzielen im Verhältnis zum Aufwand die größten Effekte. A/B-Testing im digitalen Marketing behandelt E-Mail-Betreffzeilen, Anzeigentexte und Botschaften auf Landingpages gemeinsam.

Visuelles Design und Layout

Hero-Bilder, Stil der Produktfotografie (Packshot vs. Lifestyle), Farbe und Platzierung des CTA-Buttons, Layout oberhalb der Falz, Platzierung von Vertrauenssiegeln, Position von Social Proof, Reihenfolge der Formularfelder und Seitenstruktur. Das Splitten von Redesigns für Kollektionsseiten erfordert eine besondere Handhabung, weil die „Seite“ dynamisch generiert wird. Das Vorgehen unterscheidet sich vom Testen einer statischen Landingpage.

Preise und Angebotsdarstellung

A/B-Tests für Preisseiten behandeln, welcher Tarif hervorgehoben werden soll, wie die Preistabelle aufgebaut wird, welche Voreinstellung der Umschalter für jährliche vs. monatliche Zahlung hat und welcher CTA-Text pro Tarif passt. Speziell im E-Commerce gibt es bei A/B-Tests für Shopify-Preise eigene Besonderheiten bei der Darstellung von Rabatten, den Hinweisen zum Versandkostenschwellenwert und der Preisgestaltung von Bundles. Einen tieferen strategischen Blick darauf, warum Preisexperimente eine eigene Disziplin sind, finden Sie unter Best Practices für Preisexperimente.

Formulare und Checkout

Anzahl der Felder, Feldbeschriftungen, Inline-Validierung, Fortschrittsanzeigen, Prominenz des Gast-Checkouts, Reihenfolge der Zahlungsarten und Texte von Fehlermeldungen. Änderungen am Checkout bergen das höchste Risiko, da Vertrauen und Klarheit am Ende des Funnels am wichtigsten sind: Beobachten Sie beim Testen des Checkouts immer sowohl die Conversion-Rate als auch die Retourenquote.

KI-generierte Varianten

Teams nutzen heute KI, um Hypothesen und Varianten für A/B-Tests schneller zu erstellen. KI-gestütztes A/B-Testing und die Nutzung von ChatGPT für A/B-Tests zeigen, wie Sie KI-Tools anweisen, testbare Textvarianten, alternative Überschriften und Bildkonzepte zu erzeugen. Für einen nativen ChatGPT-Workflow in Mida lesen Sie die ChatGPT-MCP-Integration. Das Grundprinzip: KI beschleunigt die Hypothesenbildung, aber ob eine KI-generierte Idee gewinnt, entscheiden Sie weiterhin per A/B-Test.

Statistische Ansätze: frequentistisch vs. Bayes

Die meisten A/B-Testing-Tools nutzen eines von zwei statistischen Verfahren. Frequentistisches vs. Bayesianisches A/B-Testing ist ein ausführlicher Vergleich beider Ansätze. Die Kurzfassung:

• Der frequentistische Ansatz berechnet einen p-Wert und fragt: „Wie wahrscheinlich wäre ein so extremes Ergebnis zufällig, wenn es keinen echten Unterschied gäbe?“ Dafür muss die Stichprobengröße vorab festgelegt werden, und Sie dürfen nicht vorzeitig auf die Ergebnisse schauen. Für die meisten Teams ist er die richtige Standardwahl. Praktische Hinweise finden Sie unter welches Verfahren Sie wählen sollten.
• Der Bayes-Ansatz aktualisiert fortlaufend die Wahrscheinlichkeit, dass eine Variante besser ist als die Kontrollversion. Er erlaubt einen gültigen vorzeitigen Abbruch und liefert intuitivere Ergebnisse („87 % Wahrscheinlichkeit, dass die Variante besser ist“), erfordert aber die Festlegung einer Prior-Verteilung und ist komplexer, wenn er korrekt umgesetzt werden soll.

Häufige Fehler, die Tests ungültig machen

Ausführlich behandelt der Leitfaden zu häufigen A/B-Testing-Fehlern das Thema, doch die folgenden sind am schädlichsten:

• Keine Validierung des Tools. Bevor Sie den Ergebnissen einer neuen Plattform vertrauen, führen Sie einen A/A-Test durch, um zu bestätigen, dass der Traffic gleichmäßig aufgeteilt wird und das Tool keine systematischen falsch positiven Ergebnisse liefert.
• Vorzeitiges Nachschauen und Abbrechen. Sie prüfen die Ergebnisse, bevor die Stichprobengröße erreicht ist, und stoppen, sobald Signifikanz sichtbar wird. Die Auswirkung des Nachschauens auf Ihre Rate falsch positiver Ergebnisse ist gravierend: Die angegebene Fehlerrate von 5 % kann auf 20 bis 30 % ansteigen.
• Zu viele Elemente gleichzeitig testen. Wenn Überschrift, Bild, CTA und Layout in einer Variante gebündelt werden, lässt sich das Ergebnis keiner bestimmten Änderung zuordnen.
• Falsche primäre Metrik wählen. Etwa einen Checkout-Prozess mit der Klickrate statt der Rate abgeschlossener Käufe als primärer Metrik zu testen. Oder im E-Commerce allein die Conversion-Rate zu nutzen, obwohl der Umsatz pro Besucher der eigentliche Hebel für das Geschäft ist.
• Den Test ohne ausreichend Traffic durchführen. Wenn Sie die erforderliche Stichprobengröße nicht in einem vertretbaren Zeitraum erreichen können, bleibt der Test nicht aussagekräftig. Lesen Sie vor dem Start, wie viel Traffic Sie benötigen.
• Schäden auf Segmentebene ignorieren. Eine Variante kann die durchschnittliche Conversion verbessern und dabei mobile Nutzer oder eine bestimmte Traffic-Quelle deutlich benachteiligen. Prüfen Sie daher vor der Ausspielung immer die Aufschlüsselungen.

A/B-Testing im Vergleich zu anderen Test- und Forschungsmethoden

vs. Nutzertests

Nutzertests und A/B-Tests ergänzen sich, sie konkurrieren nicht. Nutzertests sind qualitativ: Sie beobachten echte Menschen bei der Nutzung einer Seite und sehen, wo sie Schwierigkeiten haben. A/B-Tests sind quantitativ: Sie messen, ob eine Änderung das Verhalten im großen Maßstab verändert. Nutzen Sie Nutzertests, um Hypothesen zu bilden, und A/B-Tests, um sie zu validieren.

vs. Personalisierung

Personalisierung und A/B-Tests lösen unterschiedliche Probleme. A/B-Tests finden die beste Version für den durchschnittlichen Nutzer. Personalisierung zeigt verschiedenen Segmenten auf Basis ihrer Merkmale oder ihres Verhaltens unterschiedliche Inhalte, ohne eine Gewinner-Verlierer-Struktur. Die richtige Reihenfolge lautet: Zuerst per A/B-Test herausfinden, was insgesamt funktioniert, und dann personalisieren, um bestimmten Zielgruppen segmentspezifische Varianten auszuspielen.

vs. Multivariate Tests

Multivariate Tests (MVT) testen mehrere Elemente und deren Kombinationen gleichzeitig. Sie können Wechselwirkungen zwischen Änderungen erkennen, die A/B-Tests entgehen, benötigen aber deutlich mehr Traffic. Für die meisten Teams und die meisten Seiten sind A/B-Tests praktikabler als MVT, da sie schneller und mit weniger Traffic aussagekräftige Ergebnisse liefern.

vs. Exploration / Exploitation

Beim Spannungsfeld zwischen Exploration und Exploitation im A/B-Testing geht es darum, wie Sie den Traffic verteilen, wenn bereits eine führende Variante existiert. Multi-Armed-Bandit-Algorithmen verschieben den Traffic in Echtzeit zu den Gewinnern. Klassische A/B-Tests halten die Verteilung über die gesamte Testdauer konstant. Die Wahl hängt davon ab, wie viel Erkenntnisgewinn Sie wünschen und wie schnell Sie das aktuelle Ergebnis maximieren müssen.

A/B-Testing in speziellen Kontexten

SEO

Schlecht eingerichtete A/B-Tests können organische Rankings beeinträchtigen. Schadet A/B-Testing der SEO? zeigt, wie Sie Tests so durchführen, dass Google sie korrekt behandelt, einschließlich Canonical-Handling, Cloaking-Risiken und dem, was Googlebot bei laufenden Tests tatsächlich sieht.

DSGVO und Datenschutz

DSGVO-konformes A/B-Testing hängt davon ab, wie Ihr Tool Besucherdaten erfasst. Die cookiebasierte Zuordnung erfordert in den meisten EU-Rechtsordnungen eine Einwilligung, sofern Sie kein berechtigtes Interesse nachweisen können. Einige Tools arbeiten ohne personenbezogene Daten und nutzen ein Session-Handling ohne Fingerprinting.

Performance und Skriptgröße

A/B-Testing-Tools binden JavaScript ein, das die Ladezeit der Seite verlangsamen kann. Geschwindigkeits-Benchmarks verschiedener A/B-Testing-Tools zeigen, dass die Wahl der Plattform die Core-Web-Vitals-Werte direkt beeinflusst. Tools mit Skripten ab 100 KB verursachen eine messbare LCP-Verzögerung. Die schnellsten A/B-Testing-Plattformen zeigt, welche Tools den geringsten Performance-Fußabdruck haben.

B2B und Demand Generation

Im B2B ist die primäre Metrik selten die Conversion-Rate, sondern die Qualität der Pipeline. Wo A/B-Testing im B2B-Demand-Gen-Stack seinen Platz hat erklärt, wie Sie Experimente in jeder Phase eines längeren Verkaufszyklus einsetzen. Warum Demand-Gen- und Lead-Gen-Tests unterschiedliche Ziele brauchen behandelt speziell das Problem der Metrikauswahl.

KI- und LLM-Produkte

Warum A/B-Tests die fehlende Infrastrukturschicht für LLM-Produkte sind argumentiert, dass KI-generierte Ausgaben (Prompt-Ketten, Modellantworten, UI-Framing) Änderungen an der Nutzererfahrung sind und wie alle anderen kontrolliert getestet werden müssen. Teams, die KI-Upgrades ohne Kontrollgruppe ausrollen, können Modellverbesserungen nicht von externen Störfaktoren unterscheiden.

Das richtige A/B-Test-Tool auswählen

Das richtige Tool hängt vom Workflow Ihres Teams, vom Traffic-Volumen, vom technischen Stack und von Ihren statistischen Präferenzen ab. 17 beste A/B-Test-Tools im Vergleich deckt das gesamte Angebot nach Anwendungsfall ab. Wichtige Kriterien: Skriptgröße (beeinflusst die Seitengeschwindigkeit), Anti-Flicker-Handling (beeinflusst die Datenqualität), Qualität des visuellen Editors (beeinflusst die Unabhängigkeit der Marketer), statistisches Reporting (frequentistisch vs. Bayesianisch) und Limits des kostenlosen Tarifs.

Mida wurde speziell für Client-seitiges Experimentieren unter der Leitung von Marketern entwickelt: 15 KB komprimiertes Skript, visueller Editor, GA4-natives Reporting und ein kostenloser Sandbox-Plan für bis zu 100.000 Monthly Tested Users. Unabhängige Geschwindigkeits-Benchmarks bestätigen, dass es zu den Lösungen mit dem geringsten Ressourcenverbrauch gehört.

FAQs

F: Was ist der Unterschied zwischen A/B-Tests und multivariaten Tests? A/B-Tests vergleichen zwei Versionen einer einzelnen Variable. Multivariate Tests testen mehrere Variablen und ihre Kombinationen gleichzeitig. A/B-Tests benötigen weniger Traffic und liefern eine sauberere Zuordnung; multivariate Tests eignen sich für Seiten mit hohem Traffic, bei denen Wechselwirkungen zwischen Elementen eine Rolle spielen.

F: Wie lange sollte ein A/B-Test laufen? Bis er die vor dem Start berechnete Stichprobengröße erreicht hat, mindestens aber einen vollständigen Geschäftszyklus (7 Tage). Beenden Sie einen Test nie vorzeitig, nur weil die Ergebnisse signifikant aussehen: Das ist Peeking und erhöht die Zahl falsch positiver Ergebnisse. Der vollständige Leitfaden zur Dauer von A/B-Tests.

F: Welchen Schwellenwert für statistische Signifikanz sollte ich verwenden? 95 % (p < 0,05) ist der Standard für die meisten Experimente. Verwenden Sie 99 % für risikoreiche Änderungen wie Preise oder den Checkout-Ablauf. Verwenden Sie 90 % nur für Tests mit geringem Risiko und sehr hohem Traffic, bei denen Geschwindigkeit wichtig ist. Warum sich 95 % als Konvention durchgesetzt haben.

F: Kann ich A/B-Tests durchführen, ohne die URL zu ändern? Ja. Client-seitige Testing-Tools fügen Variantenänderungen per JavaScript ein, bevor die Seite gerendert wird. So funktionieren Split-Tests ohne URL-Änderung: Die Adressleiste zeigt allen Besuchern dieselbe URL an, während sich das DOM zwischen den Gruppen unterscheidet.

F: Schadet A/B-Testing der SEO? Nicht, wenn es richtig eingerichtet ist. Die Richtlinien von Google erlauben A/B-Tests ausdrücklich. A/B-Testing und SEO: Worauf Sie achten sollten: Vermeiden Sie Cloaking, verwenden Sie Canonical-Tags korrekt und liefern Sie dem Googlebot keine andere Erfahrung aus als menschlichen Besuchern.

F: Sollte ich frequentistische oder Bayessche Statistik verwenden? Für die meisten Teams frequentistisch: Sie bietet eine einfachere Disziplin mit festem Horizont, die Peeking verhindert. Bayessch, wenn ein frühzeitiger Abbruch eine zwingende operative Anforderung ist und Ihr Team die Prior-Annahmen versteht. Den vollständigen Vergleich finden Sie hier.

F: Was sollte ich zuerst A/B-testen? Beginnen Sie mit Ihrer Seite mit dem höchsten Traffic und testen Sie das Element mit der größten erwarteten Wirkung auf das Verhalten, meist die Hauptüberschrift oder den CTA auf der Startseite oder der wichtigsten Landingpage. A/B-Test-Ideen, die die Conversion-Rate steigern.

F: Ist A/B-Testing DSGVO-konform? Das kann es sein, abhängig von Ihrem Tool und davon, wie Sie mit Einwilligungen umgehen. Cookie-basierte Zuweisung erfordert in den meisten EU-Rechtsordnungen eine Einwilligung. Der vollständige Leitfaden zu DSGVO und A/B-Testing.

Entdecken Sie die gesamte A/B-Test-Wissensdatenbank

Dieser Leitfaden verweist auf die Vertiefungen. Hier ist der gesamte Cluster nach Themen geordnet:

Grundlagen

• Warum Sie A/B-Tests durchführen sollten
• Was sind A und B im A/B-Test?
• A/B-Test vs. Split-Test: Was ist der Unterschied?
• Warum Sie Änderungen vor der Einführung A/B-testen sollten
• Ich hasse A/B-Tests: Warum Frust beim Experimentieren ein Setup-Problem ist

Tests richtig durchführen

• Wie lange sollten Sie einen A/B-Test laufen lassen?
• Wie viel Traffic benötigen Sie für A/B-Tests?
• So führen Sie Split-Tests ohne URL-Änderung durch
• So führen Sie einen Redirect-Test (URL-Split) durch
• A/B-Testing unterhalb des sichtbaren Bereichs
• So testen Sie Redesigns von Kategorieseiten per Split-Test
• 7 häufige Fehler beim A/B-Testing, die Sie vermeiden sollten
• Was ist Peeking beim A/B-Testing?

Statistik und Analyse

• So analysieren Sie A/B-Test-Ergebnisse
• Statistische Signifikanz in A/B-Test-Ergebnissen richtig interpretieren
• Fehler 1. und 2. Art beim A/B-Testing
• Warum 95 % Konfidenzintervall? Eine Erklärung
• So berechnen Sie einen p-Wert
• So berechnen Sie die statistische Power für A/B-Tests
• So erhöhen Sie die statistische Power
• Einseitige vs. zweiseitige Tests
• Frequentistisches vs. Bayessches A/B-Testing
• Sollten Sie frequentistische oder Bayessche Statistik verwenden?
• Exploration vs. Exploitation beim A/B-Testing

Was Sie testen sollten

• A/B-Test-Ideen, die die Conversion-Rate steigern
• A/B-Testing im digitalen Marketing
• A/B-Testing von Preisseiten
• A/B-Testing von Shopify-Preisen

Vergleiche und verwandte Methoden

• Nutzertests vs. A/B-Testing
• Personalisierung vs. A/B-Testing

Kontextspezifische Leitfäden

• Schadet A/B-Testing der SEO?
• DSGVO und A/B-Testing: Compliance
• Geschwindigkeits-Benchmarks für A/B-Testing-Tools
• Die schnellsten A/B-Testing-Plattformen
• A/B-Testing im B2B-SaaS-Demand-Gen-Stack
• Demand Gen vs. Lead Gen: unterschiedliche Ziele beim A/B-Testing
• KI-gestütztes A/B-Testing
• ChatGPT für A/B-Testing nutzen
• A/B-Testing für LLM-Produkte

Tools

• Die 17 besten A/B-Testing-Tools im Vergleich