Benchmark-Analyse: Studie zum Geschwindigkeitstest von A/B-Testing-Tools
Kurze Antwort
Diese Benchmark-Studie hat die Auswirkungen von acht A/B-Testing-Plattformen auf die Seitenladezeit auf Desktop- und Mobilgeräten gemessen. Mida verursachte durch sein komprimiertes Skript von unter 20 KB den geringsten Performance-Overhead, während schwerere Plattformen mit Bundles von über 100 KB messbare Render-Latenz hinzufügten. Das zeigt, dass die Wahl des Tools die Core-Web-Vitals-Werte und die tatsächliche Nutzererfahrung direkt beeinflusst.
Wichtigste Erkenntnisse
- A/B-Testing-Tools, die Skripte synchron in den einfügen, blockieren das Rendering und verzögern die Time to First Byte für alle Besucher.
- Leichtere Skripte (unter 20 KB) haben kaum Auswirkungen auf die Performance; Tools mit Skripten ab 100 KB verlangsamen das Laden von Seiten messbar, insbesondere auf Mobilgeräten.
- Vergleichen Sie das von Ihnen gewählte A/B-Testing-Tool mit dem Lighthouse-Basiswert Ihrer Website, bevor Sie es im großen Umfang einsetzen. Verlassen Sie sich nicht blind auf die Geschwindigkeitsversprechen der Anbieter.
In unserer aktuellen Studie haben wir einige bekannte A/B-Testing-Plattformen auf ihre Auswirkungen auf Geschwindigkeit und Performance von Websites untersucht, sowohl auf Desktop- als auch auf Mobilgeräten.
Unser Ziel war es zu verstehen, wie sich diese Tools auf die Ladezeit einer Website auswirken. Das ist ein entscheidender Aspekt, der sich direkt auf das Online-Erlebnis der Nutzer auswirkt.
Der Geschwindigkeitstest bewertete acht A/B-Testing-Tools:
- VWO - A/B-Testing-Plattform mit Heatmap
- Convert Experiences - A/B-Testing-Plattform
- ABlyft - A/B-Testing-Plattform
- Webtrends Optimize - A/B-Testing-Plattform
- Zoho PageSense - All-in-One-Marketing-Tool mit A/B-Testing
- Mida.so - KI-gestützte A/B-Testing-Plattform
- CrazyEgg - Heatmap-Tool mit A/B-Testing-Funktion
- FigPii - Heatmap-Tool mit A/B-Testing-Funktion
Metriken
Um die Geschwindigkeit erfolgreich zu messen, mussten wir diese Parameter verstehen:
- Largest Contentful Paint (LCP) misst die Zeit, die benötigt wird, um das größte sichtbare Inhaltselement auf dem Bildschirm darzustellen. Je schneller, desto besser.
- Start Time To Variant (STTV) ist die Zeit vom Start des Skripts, bis die Variante geladen ist. Auch hier gilt: Je schneller, desto besser.
- Unkomprimierte Größe. Die Größe des Tools ist wichtig, da ein größeres, komplexeres Tool die Website stärker verlangsamen kann als ein kleineres, einfacheres Tool.
- Anzahl der Anfragen ist die Anzahl der von der Plattform beobachteten und ausgeführten Anfragen, also HTTP-Anfragen oder zusätzlich auf der Seite geladene Skripte.
Mit diesen Metriken ist es uns gelungen, einen klaren, fairen und nützlichen Vergleich zu erstellen, der wirklich zeigt, wie sich diese Tools auf die Geschwindigkeit Ihrer Website auswirken können. Werfen wir einen Blick auf die Ergebnisse.
Analyse der Desktop-Ergebnisse
Hier sehen Sie, wie sich die A/B-Testing-Plattform auf die Ladegeschwindigkeit Ihrer Website auswirkt: Sie verursacht einen Mehraufwand von 474 ms bis zu 2000 ms für die Performance Ihrer Website.
Interessanterweise erwies sich Mida.so bei LCP und STTV als das schnellste A/B-Testing-Tool. Bei Projektgröße und Anzahl der Anfragen waren Convert und ABlyft am effizientesten und benötigten jeweils nur eine Anfrage.
Wiedergabe des Desktop-Geschwindigkeitstests
So wirkt sich eine schnelle bzw. langsame A/B-Testing-Performance auf das Nutzererlebnis aus:
Link zu den Quellen:
Kostenloses A/B-Test-Tool
Führen Sie Ihren nächsten A/B-Test richtig durch
Visueller Editor, 15-KB-Skript, GA4-nativ und für immer kostenlos bis zu 100.000 monatlichen Besuchern. Kein Entwickler nötig.
Analyse der mobilen Ergebnisse
Als wir dieselben Tests auf mobilen Plattformen durchführten, stellten wir andere Ergebnisse fest.
Auf Mobilgeräten erwies sich Mida.so erneut als das A/B-Testing-Tool mit dem schnellsten LCP, während Convert den kleinsten STTV aufwies. Bei Projektgröße und Anzahl der Anfragen verzeichnete ABlyft die wenigsten Anfragen, während Mida.so die geringste Größe hatte.
Wiedergabe des mobilen Geschwindigkeitstests
So wirkt sich eine schnelle bzw. langsame A/B-Testing-Performance auf das Nutzererlebnis aus:
Link zu den Quellen:
Interpretation der Analyse
Ein Blick auf beide Tests zeigt deutlich, dass Mida.so beim LCP führt. Das ist entscheidend, denn er bestimmt, wie schnell eine Webseite für Nutzer auf Desktop und Mobilgeräten geladen erscheint. Anbieter auf den vorderen Plätzen wie Convert und ABlyft setzten in anderen wichtigen Bereichen neue Maßstäbe.
Bei den STTV-Werten, die angeben, wie lange eine Seite braucht, um visuell vollständig dargestellt zu werden, schnitten Mida.so und Convert auf Desktop und Mobilgeräten beeindruckend ab. Diese Plattformen sorgen dafür, dass Nutzer eine vollständige Seite schneller sehen, was für eine positive Nutzererfahrung unerlässlich ist.
Unser Fokus auf die Größe der Skripte und die Anzahl der Anfragen ergab sich aus ihrem Einfluss auf die Rendergeschwindigkeit. Hier zeigten Convert und ABlyft eine optimale Leistung und versprechen damit eine schnellere Auslieferung von Inhalten an die Endnutzer.
Zweifellos erfordert die Wahl eines A/B-Test-Tools die Bewertung mehrerer Faktoren, nicht nur der Geschwindigkeit. Jede Website hat andere Optimierungsanforderungen und kann daher mit demselben A/B-Test-Tool unterschiedlich abschneiden.
Interessantes Plattformverhalten
Während des Tests haben wir bei einigen dieser A/B-Test-Plattformen sehr interessantes Verhalten beobachtet:
- VWO: Zeigt der Test die Kontrollgruppe (keine Änderung), lädt die Seite sofort. Zeigt er die Variantengruppe (mit der Textänderung V2), wird sie dagegen ziemlich langsam.
- Convert.com: Die Ergebnisse zwischen Desktop und Mobilgeräten unterscheiden sich extrem. In einer Desktop-Umgebung ist die Plattform im Vergleich zu den anderen recht langsam. In der mobilen Umgebung gehört sie zu den schnellsten im Feld. Das haben wir durch mehrere Testläufe bestätigt, und dieses Verhalten schien über den gesamten Test hinweg sehr konstant zu sein.
Testmethodik
Um Fairness und Zuverlässigkeit der Ergebnisse sicherzustellen, haben wir konkrete Vorgaben für den Test festgelegt. Hier finden Sie eine Schritt-für-Schritt-Anleitung, wie die Tests durchgeführt wurden:
1. Testumgebung
Um die Geschwindigkeit jeder Plattform effizient zu ermitteln, haben wir eine einfache Website erstellt. Die Schlichtheit der Website war wichtig, da sie alle überflüssigen Elemente ausschloss, die die Ergebnisse des Geschwindigkeitstests hätten beeinflussen oder stören können. Die Website enthielt einen einfachen Text „Hello World“, der während des Tests in „Hello World V2“ geändert werden sollte.
2. Zweck des einfachen Tests
Unser Hauptziel war es, die reine Geschwindigkeit der verschiedenen Anbieter zu untersuchen. Mit einer grundlegenden Webseite und einem unkomplizierten A/B-Test-Szenario stellten wir eine kontrollierte Umgebung ohne komplexe Einflüsse sicher.
So konnten wir uns vollständig auf die reine Ladegeschwindigkeit der verschiedenen Plattformen konzentrieren, ohne Störungen oder Beeinträchtigungen. Das Ziel ist klar: Wir wollen sehen, wie schnell ein einfacher V2-Text dargestellt wird.
3. Standort und Umgebung
Der geografische Standort des Servers und der Testumgebung spielt eine wichtige Rolle für die Ladegeschwindigkeit einer Website. Um gleiche Bedingungen zu schaffen, wurden alle Tests auf einem Server in US East durchgeführt, was die Konsistenz über alle Plattformen hinweg gewährleistete.
Außerdem wurden die Tests in einer Desktop-Umgebung mit einer auf 100 MBit/s begrenzten Bandbreite und für mobile Umgebungen mit 12 MBit/s ausgeführt. Diese Maßnahme sorgte für eine standardisierte Umgebung und Verbindungsgeschwindigkeit und schloss Unterschiede aus, die durch schwankende Internetgeschwindigkeiten entstehen könnten.
4. Testplattform
Die Tests wurden mit DebugBear durchgeführt, einem Tool zur Performance-Überwachung für die moderne Webentwicklung. DebugBear lieferte eine umfassende und zuverlässige Leistungsmessung und eignete sich damit ideal für diese Studie zum Geschwindigkeitstest.
Dieses sorgfältige und methodische Vorgehen stellte sicher, dass unsere Ergebnisse zuverlässig, unvoreingenommen und repräsentativ für die tatsächliche Leistung der Anbieter sind. Indem wir mögliche Komplexitäten und unterschiedliche Variablen ausgeschlossen haben, wollten wir Ergebnisse präsentieren, die die reine Geschwindigkeit jeder A/B-Test-Plattform genau widerspiegeln.
Kostenloses A/B-Test-Tool
Führen Sie Ihren nächsten A/B-Test richtig durch
Visueller Editor, 15-KB-Skript, GA4-nativ und für immer kostenlos bis zu 100.000 monatlichen Besuchern. Kein Entwickler nötig.
Fazit
Da schon wenige Millisekunden Ihre Conversion-Rate und Nutzererfahrung drastisch beeinflussen können, ist die Wahl Ihres A/B-Test-Tools von enormer Bedeutung. Auch wenn die Geschwindigkeit stets ein entscheidender Parameter ist, sollten Sie bei der Auswahl eines A/B-Test-Tools daher ebenso Faktoren wie Skalierbarkeit, Integrationsmöglichkeiten, Funktionsumfang, Benutzerfreundlichkeit und Preis berücksichtigen.
Die Ergebnisse dieser Analyse liefern wertvolle Einblicke in die Fähigkeiten verschiedener A/B-Test-Tools und können Ihnen helfen, eine fundierte Entscheidung zu treffen. Die Daten unterstreichen die Notwendigkeit gründlicher Website-Performance-Tests, damit die von Ihnen gewählten Test-Tools, ob für Desktop oder Mobilgeräte, die Geschwindigkeit Ihrer Website nicht beeinträchtigen.
Melden Sie sich gern bei uns, wenn Sie ausführlichere Informationen zu unserer Geschwindigkeitsanalyse wünschen.
Bitte beachten Sie: Die angegebenen Ergebnisse sind aufgrund variabler Faktoren wie der Art des durchgeführten Experiments oder der getesteten Seite möglicherweise nicht allgemeingültig. Wir empfehlen daher, unsere Studie durch eigene Untersuchungen zu ergänzen, um die für Ihre Anforderungen am besten geeigneten A/B-Test-Plattformen zu finden.
