Como calcular o poder estatístico em testes A/B?

O teste A/B é uma técnica poderosa para otimizar conversões e receita. Mas, sem uma análise adequada de poder estatístico, seus testes podem não detectar diferenças reais entre as variantes. Um poder estatístico baixo leva a mais erros do Tipo II, em que você aceita incorretamente a hipótese nula e perde os ganhos de variantes melhores.

Este artigo apresenta uma visão completa de como calcular e interpretar o poder estatístico para planejar testes A/B robustos.

Seja você iniciante em testes A/B ou alguém que quer otimizar sua metodologia, este guia vai dar o conhecimento necessário para calcular o poder com precisão e garantir que seus testes consigam detectar com confiabilidade as diferenças reais entre variantes.

O que é poder estatístico?

O poder estatístico indica a probabilidade de um teste detectar um efeito ou diferença real, caso ele realmente exista. É definido como a probabilidade de rejeitar corretamente a hipótese nula quando a hipótese alternativa é verdadeira.

A hipótese nula (H0) pressupõe que não há diferença entre o controle e a variante. A hipótese alternativa (H1) é o que você quer provar: que existe uma diferença.

O poder é representado por um valor entre 0 e 1. Um poder de 0,8 significa que há 80% de chance de rejeitar corretamente a hipótese nula e detectar o tamanho de efeito especificado na sua hipótese alternativa. Por isso, é comum ver 0,8 ou 80% como o nível de poder recomendado.

Um poder baixo significa que você tem mais chances de deixar passar ganhos reais de variantes positivas. Um poder alto dá mais confiança para descartar falsos positivos e detectar apenas efeitos verdadeiros.

Erros do Tipo I e do Tipo II em testes A/B

Existem dois tipos de erros possíveis em testes de hipótese:

Erro do Tipo I

A probabilidade de rejeitar falsamente a hipótese nula quando ela é, na verdade, verdadeira. Também conhecido como "falso positivo": detectar uma diferença quando não existe nenhuma.

Erro do Tipo II

A probabilidade de não rejeitar a hipótese nula quando a hipótese alternativa é verdadeira. Também conhecido como "falso negativo": deixar de perceber uma diferença real entre variantes.

A taxa de erros do Tipo I é definida pelo seu limite de significância estatística (geralmente 5%, com p=0,05). Já as taxas de erro do Tipo II estão diretamente relacionadas ao poder do seu teste. Quanto menor o poder, maior a chance de perder um ganho real com um falso negativo.

Otimizar o poder minimiza os erros do Tipo II. Você quer desenhar testes que maximizem a probabilidade de detectar diferenças reais.

Fatores que influenciam o poder estatístico

Quatro fatores principais determinam o poder estatístico de um teste A/B:

Tamanho da amostra - O número de pontos de dados ou usuários atribuídos a cada variante. Mais amostras significam maior poder. Esse é o fator mais importante para aumentar o poder.

Efeito mínimo detectável (MDE) - A menor diferença ou ganho entre variantes que você quer detectar. Um efeito mínimo detectável maior exige menos poder para ser identificado.

Nível de significância - O limite de valor p para a significância estatística. 0,05 ou 5% é o padrão. Limites mais rigorosos, como 0,01, exigem mais poder.

Taxa de conversão base - A taxa de conversão de referência da sua variante de controle. Taxas mais altas significam mais conversões por usuário, o que aumenta o poder.

Entender como cada um desses fatores afeta o poder permite otimizar o desenho e a análise dos seus testes.

Como calcular o tamanho da amostra para o poder estatístico

Este é o processo para determinar o tamanho de amostra necessário por variante para atingir o nível de poder estatístico desejado:

1. Defina seu efeito mínimo detectável (MDE)
2. Defina seu nível de significância estatística (geralmente 5%)
3. Defina seu nível de poder alvo (normalmente 80% ou 90%)
4. Estime sua taxa de conversão base
5. Use uma calculadora de tamanho de amostra para determinar o tamanho necessário

As calculadoras de tamanho de amostra permitem inserir essas variáveis e informam o número mínimo de usuários necessário por variante. Algumas calculadoras populares incluem:

• Mida.so
• Optimizely
• AB Tasty

Por exemplo, digamos que você queira detectar um ganho de 5% na taxa de conversão, com 90% de poder e 5% de significância. Sua taxa de conversão atual é de 10%. Usando a calculadora da Mida, você precisaria de 1597 usuários por variante. Executar o teste até atingir essa amostra oferece 90% de chance de detectar um aumento de 5% nas conversões.

Ferramentas de análise de poder estatístico

Além das calculadoras de tamanho de amostra, existem ferramentas que oferecem relatórios completos de análise de poder para seus testes A/B. Elas permitem calcular o poder antes de executar o teste e reanalisá-lo depois de coletar todos os dados. As opções mais populares incluem:

• G*Power - Ferramenta gratuita de análise de poder
• Power and Sample Size - Calculadora de poder online
• R PWR Package - Análise de poder em R
• PostHoc Power Calculator - Calculadora de poder retrospectivo

Essas ferramentas facilitam o cálculo do poder alcançado com base no tamanho real da amostra e no tamanho do efeito do seu teste A/B concluído. Isso ajuda você a interpretar se um resultado não significativo se deveu ao baixo poder ou à ausência real de diferença entre as variantes.

Efeito Mínimo Detectável (MDE)

O efeito mínimo detectável (MDE) é a magnitude de diferença entre as variantes que você quer ser capaz de identificar. Essa é uma entrada fundamental que determina quanto poder você precisa.

Como definir um MDE adequado? Aqui vão algumas dicas:

• Comece com um aumento-alvo baseado em metas de negócio, como 5% de crescimento na taxa de conversão.
• Considere os tamanhos de impacto típicos observados em testes e mudanças anteriores.
• Leve em conta a viabilidade: qual a facilidade de mover a métrica em X%?
• Equilibre o poder desejado e os requisitos de tamanho de amostra.

Um MDE menor exige mais poder e amostras maiores. Se for difícil obter amostra suficiente, talvez seja preciso testar diferenças maiores no início.

Também é importante pensar no valor financeiro de diferentes tamanhos de efeito. Um aumento de 2% pode não valer a pena ser detectado se um crescimento de 5% for muito mais relevante para o negócio.

Otimizando o poder quando o tamanho da amostra é limitado

Em alguns casos, você pode não conseguir atingir o tamanho de amostra necessário para o poder desejado. Quando a amostra tem um limite, você tem algumas opções para otimizar o poder:

Aumentar o MDE - Flexibilizar o efeito mínimo detectável reduz o poder e o tamanho de amostra necessários. Teste diferenças maiores.

Estender a duração do teste - Execute o teste por mais tempo para acumular mais usuários ao longo do tempo até atingir a amostra necessária.

Reduzir variantes - Comparar apenas duas variantes significa mais usuários por ramo, aumentando o poder em relação a testes com várias variantes.

Aproveitar dados históricos - Use taxas de conversão de experimentos anteriores como variante de controle para obter mais dados de base e mais poder.

Simplificar métricas - Testar métricas agregadas, como a taxa de conversão geral, exige amostras menores do que microconversões específicas.

Técnicas estatísticas - Métodos como a análise bayesiana podem melhorar o poder em amostras menores, mas trazem complexidade adicional.

Embora não sejam soluções perfeitas, essas táticas ajudam você a maximizar o poder possível quando a amostra é pequena ou a disponibilidade é limitada. Qualquer ganho de poder é benéfico.

Interpretando resultados e análise de poder

A análise de poder não serve apenas para calcular o tamanho de amostra necessário antes do teste. Ela também é essencial para interpretar corretamente os resultados depois de concluir um experimento.

Depois de executar o teste e coletar todos os dados, recalcule o poder alcançado usando o tamanho real da amostra e o tamanho do efeito observado.

Se o poder medido for baixo, um resultado não significativo pode indicar apenas poder insuficiente, e não uma diferença real inexistente entre as variantes. Nesse caso, você não pode aceitar a hipótese nula com confiança. Executar o teste por mais tempo ou repeti-lo com uma amostra maior pode revelar um efeito significativo.

A análise de poder dá contexto para entender se resultados negativos vêm de baixo poder ou da ausência real de impacto. Isso ajuda você a evitar descartar variantes por engano em testes com poder insuficiente.

A análise de poder diz por quanto tempo executar um teste. Use nossa calculadora de duração gratuita para obter a resposta exata para o seu tráfego e a sua taxa de conversão.

Conclusão

Calcular e otimizar o poder estatístico é vital para testes A/B confiáveis e de impacto. Baixo poder leva a erros do Tipo II frequentes e à incapacidade de detectar ganhos reais. Fatores como tamanho da amostra, tamanho mínimo do efeito detectável, significância estatística e taxas de base afetam os cálculos de poder.

As ferramentas facilitam determinar o tamanho de amostra necessário para atingir o poder e a sensibilidade desejados. Quando a amostra é limitada, ajustar o MDE, as durações, o uso de dados históricos e simplificar as métricas pode ajudar a maximizar o poder.

Analisar o poder depois do teste dá contexto aos resultados não significativos. Com uma análise de poder adequada, você pode otimizar sua metodologia de testes, evitar falsos negativos e garantir que está identificando com precisão as variantes de melhor desempenho. No fim, isso se traduz em mais receita e melhores experiências para os clientes, impulsionadas pelos seus testes.

‍