Análisis comparativo: estudio de velocidad de herramientas de test A/B
Respuesta rápida
Este estudio comparativo midió el impacto en la carga de página de ocho plataformas de test A/B en ordenadores y dispositivos móviles. Mida generó la menor sobrecarga de rendimiento gracias a su script comprimido de menos de 20KB, mientras que las plataformas más pesadas, con paquetes de más de 100KB, añadieron una latencia de renderizado medible. Esto demuestra que la elección de la herramienta afecta directamente a las puntuaciones de Core Web Vitals y a la experiencia real del usuario.
Conclusiones clave
- Las herramientas de test A/B que inyectan scripts de forma síncrona en el bloquean el renderizado y retrasan el Time to First Byte para todos los visitantes.
- Los scripts más ligeros (menos de 20KB) tienen un impacto insignificante en el rendimiento; las herramientas con scripts de más de 100KB ralentizan de forma medible la carga de las páginas, sobre todo en móvil.
- Compara la herramienta de test A/B que elijas con la puntuación base de Lighthouse de tu sitio antes de implementarla a gran escala: no des por buenas las afirmaciones de velocidad de los proveedores.
En nuestro reciente estudio, examinamos algunas plataformas de test A/B destacadas para analizar su impacto en la velocidad y el rendimiento del sitio web, tanto en escritorio como en dispositivos móviles.
Nuestro objetivo era entender cómo afectan estas herramientas al tiempo de carga de un sitio: un aspecto esencial que influye directamente en la experiencia online del usuario.
El test de velocidad evaluó ocho herramientas de test A/B:
- VWO - Plataforma de test A/B con mapas de calor
- Convert Experiences - Plataforma de test A/B
- ABlyft - Plataforma de test A/B
- Webtrends Optimize - Plataforma de test A/B
- Zoho PageSense - Herramienta de marketing todo en uno con test A/B
- Mida.so - Plataforma de test A/B con tecnología de IA
- CrazyEgg - Herramienta de mapas de calor con capacidad de test A/B
- FigPii - Herramienta de mapas de calor con capacidad de test A/B
Métricas
Para medir correctamente el rendimiento en velocidad, tuvimos que entender estos parámetros:
- Largest Contentful Paint (LCP) mide el tiempo que tarda en pintarse el elemento de contenido más grande visible en pantalla. Cuanto más rápido, mejor.
- Start Time To Variant (STTV) es el tiempo que transcurre desde el inicio del script hasta que se carga la variante. De nuevo, cuanto más rápido ocurra, mejor.
- Tamaño sin comprimir. El tamaño de la herramienta importa porque una herramienta más grande y compleja puede ralentizar el sitio web más que una más pequeña y sencilla.
- El número de solicitudes es la cantidad de solicitudes HTTP o scripts adicionales cargados en la página que la plataforma realiza y que se han observado.
Gracias a estas métricas, conseguimos crear una comparación clara, justa y útil que representa de verdad cómo pueden afectar estas herramientas a la velocidad de tu sitio web. Veamos los resultados.
Análisis de resultados en escritorio
Estos son los resultados de cómo la plataforma de test A/B afecta a la velocidad de carga de tu sitio web, con una sobrecarga de entre 474 ms y 2000 ms en el rendimiento.
Curiosamente, Mida.so resultó ser la herramienta de test A/B más rápida en LCP y STTV. En cuanto al tamaño del proyecto y el número de solicitudes, Convert y ABlyft fueron las más eficientes, con una sola solicitud cada una.
Reproducción del test de velocidad en escritorio
Así se ve en la experiencia de tus usuarios un rendimiento rápido y uno lento en test A/B:
Enlaces a las fuentes:
| Mida.so | VWO | Webtrends | PageSense | CrazyEgg | ABlyft | Convert | FigPii |
|---|---|---|---|---|---|---|---|
| Enlace | Enlace | Enlace | Enlace | Enlace | Enlace | Enlace | Enlace |
Herramienta gratuita de test A/B
Lanza tu próximo test A/B de la forma correcta
Editor visual, script de 15 KB, nativo de GA4 y gratis para siempre hasta 100.000 visitantes mensuales. Sin necesidad de desarrolladores.
Análisis de resultados en móvil
Al realizar las mismas pruebas en plataformas móviles, observamos resultados distintos.
En móvil, Mida.so volvió a ser la herramienta de test A/B con el LCP más rápido, mientras que Convert mostró el STTV más bajo. En cuanto al tamaño del proyecto y el número de solicitudes, ABlyft registró el menor número de solicitudes, mientras que Mida.so fue la más pequeña en tamaño.
Reproducción del test de velocidad en móvil
Así se ve en la experiencia de tus usuarios un rendimiento rápido y uno lento en test A/B:
Enlaces a las fuentes:
| Mida.so | Convert | Webtrends | PageSense | CrazyEgg | ABlyft | FigPii | VWO |
|---|---|---|---|---|---|---|---|
| Enlace | Enlace | Enlace | Enlace | Enlace | Enlace | Enlace | Enlace |
Interpretación del análisis
Al examinar ambos tests, queda claro que Mida.so lidera en LCP, algo crucial porque afecta a la rapidez con la que el usuario percibe que carga la página, tanto en escritorio como en móvil. Competidores del podio como Convert y ABlyft elevaron el nivel en otras áreas importantes.
Si miramos más de cerca los valores de STTV, que indican el tiempo que tarda una página en completarse visualmente, Mida.so y Convert tuvieron un rendimiento impresionante tanto en escritorio como en móvil. Estas plataformas garantizan que los usuarios vean una página completa más rápido, algo vital para mantener una experiencia de usuario positiva.
Nos centramos en el tamaño de los scripts y el número de solicitudes por su impacto en la velocidad de renderizado. Aquí, Convert y ABlyft mostraron un rendimiento óptimo, lo que promete una entrega de contenido más rápida a los usuarios finales.
Sin duda, elegir una herramienta de test A/B implica evaluar varios factores, no solo la velocidad. Cada sitio tiene unas necesidades de optimización distintas y, por tanto, puede rendir de forma diferente con la misma herramienta A/B.
Comportamientos interesantes de las plataformas
Durante el test, hemos observado un comportamiento muy interesante en algunas de estas plataformas de test A/B:
- VWO: Cuando el test muestra el grupo de control (sin cambios), la página carga al instante, pero cuando muestra el grupo de la variante (con el cambio de texto V2), se vuelve bastante lenta.
- Convert.com: La diferencia de rendimiento entre escritorio y móvil es muy extrema. Cargada en un entorno de escritorio, es bastante lenta en comparación con las demás plataformas. En el entorno móvil, es una de las más rápidas del grupo, y lo hemos confirmado ejecutando varios tests: este comportamiento parece muy consistente a lo largo de toda la prueba.
Metodología de las pruebas
Para garantizar la imparcialidad y la fiabilidad de los resultados, establecimos protocolos específicos para el test. Esta es una guía paso a paso de cómo se realizaron las pruebas:
1. Entorno de prueba
Para determinar de forma eficiente la velocidad de cada plataforma, construimos un sitio web muy básico. La simplicidad del sitio era esencial, ya que eliminaba cualquier elemento ajeno que pudiera afectar o interferir en los resultados del test de velocidad. El sitio incluía un texto básico “Hello World” que se cambiaría a “Hello World V2” durante el test.
2. Propósito del test sencillo
Nuestro objetivo principal era investigar la velocidad pura de los distintos proveedores. Al usar una página web básica junto con un escenario de test A/B sencillo, nos aseguramos de contar con un entorno controlado, libre de influencias complejas.
Esto nos permitió centrarnos por completo en la velocidad de carga pura de las diferentes plataformas, sin interrupciones ni interferencias. El objetivo es claro: queremos ver con qué rapidez se renderiza un simple texto V2.
3. Ubicación y entorno
La ubicación geográfica del servidor y el entorno de prueba influyen de forma significativa en la velocidad de carga de un sitio web. Para igualar las condiciones, todos los tests se realizaron en un servidor del este de EE. UU., lo que mantuvo la coherencia entre todas las plataformas.
Además, los tests se ejecutaron en un entorno de escritorio con el ancho de banda limitado a 100MBPS, y a 12 MBPS en entornos móviles. Esta medida garantizó un entorno y una velocidad de conexión estándar, eliminando cualquier diferencia derivada de velocidades de Internet variables.
4. Plataforma de pruebas
Los tests se llevaron a cabo con DebugBear, una herramienta de monitorización del rendimiento para el desarrollo web moderno. DebugBear ofreció una medición completa y fiable del rendimiento, lo que la convierte en una herramienta ideal para este estudio de velocidad.
Este procedimiento meticuloso y metódico garantizó que los resultados de nuestro test de velocidad fueran fiables, imparciales y representativos del rendimiento real de los proveedores. Al eliminar posibles complejidades o variables diferentes, buscamos presentar resultados que reflejen con precisión la velocidad pura de cada plataforma de test A/B.
Herramienta gratuita de test A/B
Lanza tu próximo test A/B de la forma correcta
Editor visual, script de 15 KB, nativo de GA4 y gratis para siempre hasta 100.000 visitantes mensuales. Sin necesidad de desarrolladores.
Para terminar
Dado que unos pocos milisegundos pueden influir drásticamente en tus tasas de conversión y en la experiencia de usuario, la elección de una herramienta de test A/B es de enorme importancia. Por eso, aunque la velocidad es siempre un parámetro crucial, también es vital tener en cuenta otros factores como la escalabilidad, las capacidades de integración, el conjunto de funcionalidades, la facilidad de uso y el precio al elegir una herramienta de test A/B.
Los resultados de este análisis ofrecen información valiosa sobre las capacidades de diversas herramientas de test A/B y pueden ayudarte a tomar una decisión informada. Los datos subrayan la necesidad de realizar pruebas rigurosas de rendimiento web para asegurarte de que las herramientas de test que elijas, ya sea en escritorio o en móvil, no perjudiquen la velocidad de tu sitio web.
No dudes en contactarnos si quieres información más detallada sobre nuestro análisis de velocidad.
Ten en cuenta: los resultados presentados pueden no ser aplicables de forma universal debido a factores variables, como el tipo de experimento ejecutado o la página probada. Por ello, te recomendamos complementar nuestro estudio con tu propia investigación para encontrar las plataformas de test A/B que mejor se adapten a tus necesidades.
