Análise de Benchmark: Estudo de Velocidade de Ferramentas de Teste A/B
Resposta rápida
Este estudo de benchmark mediu o impacto no carregamento de página de oito plataformas de teste A/B em desktop e dispositivos móveis. A Mida gerou o menor overhead de desempenho graças ao seu script compactado com menos de 20KB, enquanto plataformas mais pesadas, com bundles de 100KB ou mais, adicionaram latência de renderização mensurável, demonstrando que a escolha da ferramenta afeta diretamente as pontuações de Core Web Vitals e a experiência real do usuário.
Principais conclusões
- Ferramentas de teste A/B que injetam scripts de forma síncrona no bloqueiam a renderização e atrasam o Time to First Byte para todos os visitantes.
- Scripts mais leves (abaixo de 20KB) causam impacto desprezível na performance; ferramentas com scripts de 100KB ou mais deixam o carregamento das páginas visivelmente mais lento, principalmente no mobile.
- Compare a ferramenta de teste A/B escolhida com a pontuação base do Lighthouse do seu site antes de implementá-la em grande escala. Não aceite as promessas de velocidade dos fornecedores ao pé da letra.
Em nosso estudo recente, analisamos algumas plataformas de teste A/B de destaque para avaliar o impacto delas na velocidade e na performance do site, tanto no desktop quanto em dispositivos móveis.
Nosso objetivo era entender como essas ferramentas afetam o tempo de carregamento de um site, um aspecto essencial que impacta diretamente a experiência online do usuário.
O teste de velocidade avaliou oito ferramentas de teste A/B:
- VWO - Plataforma de teste A/B com mapa de calor
- Convert Experiences - Plataforma de teste A/B
- ABlyft - Plataforma de teste A/B
- Webtrends Optimize - Plataforma de teste A/B
- Zoho PageSense - Ferramenta de marketing completa com teste A/B
- Mida.so - Plataforma de teste A/B com tecnologia de IA
- CrazyEgg - Ferramenta de mapa de calor com recurso de teste A/B
- FigPii - Ferramenta de mapa de calor com recurso de teste A/B
Métricas
Para medir com sucesso a performance de velocidade, precisamos entender estes parâmetros:
- Largest Contentful Paint (LCP) mede o tempo necessário para renderizar o maior elemento de conteúdo visível na tela. Quanto mais rápido, melhor.
- Start Time To Variant (STTV) é o tempo desde o início do script até o carregamento da variante. Novamente, quanto mais rápido isso acontecer, melhor.
- Tamanho sem compressão. O tamanho da ferramenta importa porque uma ferramenta maior e mais complexa pode deixar o site mais lento do que uma menor e mais simples.
- Número de requisições é a quantidade de requisições HTTP observadas e feitas pela plataforma, além de scripts adicionais carregados na página.
Com essas métricas, conseguimos criar uma comparação clara, justa e útil, que representa de verdade como essas ferramentas podem impactar a velocidade do seu site. Vamos aos resultados.
Análise dos resultados no desktop
Veja como a plataforma de teste A/B afeta a velocidade de carregamento do seu site, adicionando de 474ms a 2000ms de sobrecarga à performance.
Curiosamente, a Mida.so se destacou como a ferramenta de teste A/B mais rápida em LCP e STTV. Em tamanho do projeto e número de requisições, Convert e ABlyft foram as mais eficientes, exigindo apenas uma requisição cada.
Replay do teste de velocidade no desktop
É assim que fica a experiência do seu usuário com uma performance de teste A/B rápida e uma lenta:
Link das fontes:
Ferramenta de teste A/B grátis
Faça seu próximo teste A/B do jeito certo
Editor visual, script de 15 KB, nativo do GA4 e grátis para sempre até 100.000 visitantes por mês. Sem precisar de desenvolvedor.
Análise dos resultados no mobile
Ao realizar os mesmos testes em plataformas mobile, notamos resultados diferentes.
No mobile, a Mida.so novamente se destacou como a ferramenta de teste A/B com o LCP mais rápido, enquanto a Convert apresentou o menor STTV. Em tamanho do projeto e número de requisições, a ABlyft teve o menor número de requisições, e a Mida.so foi a menor em tamanho.
Replay do teste de velocidade no mobile
É assim que fica a experiência do seu usuário com uma performance de teste A/B rápida e uma lenta:
Link das fontes:
Interpretando a análise
Ao examinar os dois testes, fica evidente que a Mida.so lidera em LCP, que é crucial porque afeta a rapidez com que o usuário percebe o carregamento da página, tanto no desktop quanto no mobile. Concorrentes de pódio como Convert e ABlyft elevaram o nível em outras áreas importantes.
Olhando mais de perto os valores de STTV, que indicam o tempo que uma página leva para ser concluída visualmente, Mida.so e Convert tiveram um desempenho impressionante tanto no desktop quanto no mobile. Essas plataformas garantem que os usuários vejam uma página completa mais rápido, o que é vital para manter uma experiência positiva.
Nosso foco no tamanho dos scripts e no número de requisições surgiu do impacto que eles têm na velocidade de renderização. Aqui, Convert e ABlyft mostraram um desempenho excelente, prometendo uma entrega de conteúdo mais rápida para os usuários finais.
Sem dúvida, escolher uma ferramenta de teste A/B envolve avaliar vários fatores, não apenas a velocidade. Cada site tem uma necessidade de otimização diferente e, por isso, pode ter desempenhos distintos na mesma ferramenta de teste A/B.
Comportamentos interessantes das plataformas
Durante o teste, observamos alguns comportamentos muito interessantes em algumas dessas plataformas de teste A/B:
- VWO: Sempre que o teste exibe o grupo Controle (sem alteração), a página carrega instantaneamente, mas quando exibe o grupo Variante (com a mudança de texto V2), fica bem lenta.
- Convert.com: O resultado entre desempenho no desktop e no mobile é muito extremo. Quando carregada em um ambiente desktop, ela é bem lenta em comparação com as outras plataformas. No ambiente mobile, é uma das mais rápidas do grupo, e confirmamos isso rodando vários testes. Esse comportamento parece ser muito consistente ao longo de todo o teste.
Metodologia de teste
Para garantir justiça e confiabilidade nos resultados, estabelecemos protocolos específicos para o teste. Veja o passo a passo de como os testes foram conduzidos:
1. Ambiente de teste
Para determinar com eficiência a velocidade de cada plataforma, construímos um site rudimentar. A simplicidade do site foi essencial, pois eliminou quaisquer elementos externos que pudessem afetar ou interferir nos resultados do teste de velocidade. O site tinha um texto básico “Hello World”, que seria alterado para “Hello World V2” durante o teste.
2. Objetivo do teste simples
Nosso principal objetivo era investigar a velocidade bruta dos diversos fornecedores. Ao usar uma página básica combinada com um cenário de teste A/B direto, garantimos um ambiente controlado e livre de influências complexas.
Isso nos permitiu focar totalmente na velocidade bruta de carregamento das diferentes plataformas, sem interrupções ou interferências. O objetivo é claro: queremos ver a rapidez com que cada uma renderiza um simples texto V2.
3. Localização e ambiente
A posição geográfica do servidor e o ambiente de teste têm um papel significativo na velocidade de carregamento de um site. Para manter o campo de jogo nivelado, todos os testes foram feitos em um servidor no leste dos EUA, mantendo a consistência entre todas as plataformas.
Além disso, os testes foram executados em um ambiente desktop com a banda limitada a 100MBPS e a 12 MBPS em ambientes mobile. Essa medida garantiu um ambiente e uma velocidade de conexão padronizados, eliminando diferenças que poderiam surgir de velocidades de Internet variadas.
4. Plataforma de teste
Os testes foram realizados com o DebugBear, uma ferramenta de monitoramento de desempenho para o desenvolvimento web moderno. O DebugBear ofereceu uma medição completa e confiável de desempenho, sendo uma ferramenta ideal para este estudo de velocidade.
Esse procedimento meticuloso e metódico garantiu que os resultados do nosso teste de velocidade fossem confiáveis, imparciais e representativos do desempenho real dos fornecedores. Ao eliminar possíveis complexidades ou variáveis diferentes, buscamos apresentar resultados que refletissem com precisão a velocidade bruta de cada plataforma de teste A/B.
Ferramenta de teste A/B grátis
Faça seu próximo teste A/B do jeito certo
Editor visual, script de 15 KB, nativo do GA4 e grátis para sempre até 100.000 visitantes por mês. Sem precisar de desenvolvedor.
Conclusão
Considerando que alguns milissegundos podem influenciar drasticamente suas taxas de conversão e a experiência do usuário, a escolha de uma ferramenta de teste A/B tem enorme importância. Portanto, embora a velocidade seja sempre um parâmetro crucial, também é vital considerar outros fatores, como escalabilidade, capacidade de integração, conjunto de recursos, facilidade de uso e preço ao selecionar uma ferramenta de teste A/B.
Os resultados desta análise oferecem insights valiosos sobre as capacidades de várias ferramentas de teste A/B e podem ajudar a tomar uma decisão informada. Os dados reforçam a necessidade de testes rigorosos de desempenho do site para garantir que as ferramentas de teste escolhidas, seja no desktop ou no mobile, não prejudiquem a velocidade do seu site.
Fique à vontade para entrar em contato se quiser informações mais detalhadas sobre nossa análise de teste de velocidade.
Observação: os resultados apresentados podem não ser universalmente aplicáveis devido a fatores variáveis, como o tipo de experimento executado ou a página testada. Por isso, recomendamos complementar nosso estudo com sua própria investigação para encontrar as plataformas de teste A/B que melhor atendam às suas necessidades.
