O que são erros do Tipo 1 e do Tipo 2?
Resposta rápida
Um erro do Tipo I (falso positivo) ocorre quando você declara uma variante vencedora sem que exista diferença real. A probabilidade disso é controlada pelo seu limite de significância (um limite de 5% significa uma taxa de erro do Tipo I de 5%). Um erro do Tipo II (falso negativo) ocorre quando você deixa passar uma melhoria real. A probabilidade disso é a sua taxa de falsos negativos, o inverso do seu poder estatístico.
Principais conclusões
- Reduzir o limite de significância (exigindo p < 0,01 em vez de p < 0,05) diminui os erros do Tipo I, mas aumenta os do Tipo II: esses dois tipos de erro estão sempre em tensão.
- Aumentar o tamanho da amostra reduz os dois tipos de erro ao mesmo tempo: mais dados são a forma mais confiável de melhorar a confiabilidade de qualquer resultado de teste A/B.
- Na prática, os erros do Tipo I são os mais comuns em testes A/B, porque os times espiam os resultados parciais e encerram o teste ao ver uma significância aparente. Isso infla a taxa efetiva de falsos positivos muito acima dos 5% declarados.
Os erros do Tipo I e do Tipo II ocorrem quando nossas conclusões experimentais identificam falsamente um resultado positivo ou deixam passar um resultado genuíno.
Nos dois casos, as decisões são influenciadas por resultados percebidos, e não pelos reais. Mas por que é importante entender isso?
Esses erros são centrais nos testes de hipóteses em estatística. Não entendê-los pode levar a conclusões ou decisões erradas a partir dos resultados de um teste.
Vamos entender um pouco melhor esses termos:
- Erro do Tipo I: também conhecido como falso positivo. Acontece quando você conclui que algo tem impacto, mas na realidade não tem.
- Erro do Tipo II: conhecido como falso negativo. Ocorre quando você conclui que algo não afeta o resultado, mas na realidade afeta.
Por que esses erros acontecem?
Um pouco de teoria! Em um teste A/B, você tem uma hipótese nula (H0) e uma hipótese alternativa (H1).
- Hipótese nula (H0): o novo design do site não tem impacto na taxa de conversão
- Hipótese alternativa (H1): o novo design do site impacta a taxa de conversão
Então, o que fazemos essencialmente em um teste A/B é tentar decidir se aceitamos a H1 e rejeitamos a H0.
Mas, como nós, humanos, não somos perfeitos, nossos experimentos e conclusões também não são. É aí que os erros aparecem: Tipo I e Tipo II.
Erro do Tipo I: Alfa (α)
O erro Tipo I, também conhecido como falso positivo, é representado pelo alfa (α), o nível de significância.
Digamos que você execute um experimento para ver se um novo botão verde de “comprar” aumenta as conversões em comparação com um botão vermelho. Você conclui que o botão verde aumenta as conversões. Mas esse resultado ocorreu puramente por acaso, e não porque o botão era melhor. Isso é um erro Tipo I.
A chance de esse erro acontecer é o que chamamos de nível de significância, ou alfa, geralmente definido em 5%. Em termos simples, aceitamos uma chance de 5% de estarmos errados ao declarar um vencedor.
Ferramenta de teste A/B grátis
Faça seu próximo teste A/B do jeito certo
Editor visual, script de 15 KB, nativo do GA4 e grátis para sempre até 100.000 visitantes por mês. Sem precisar de desenvolvedor.
Erro Tipo II: Beta (β)
O erro Tipo II, também conhecido como falso negativo, é representado pelo beta (β). Ele ocorre quando você não percebe que existe um efeito, quando na verdade ele existe.
Continuando o exemplo anterior, digamos que o botão verde de “comprar” realmente aumente as conversões. Mas seu experimento conclui que não. Isso é um erro Tipo II.
O risco de cometer um erro Tipo II é reduzido pelo poder estatístico de um estudo. Em geral, um nível de poder de 80% ou mais é considerado aceitável.
O trade-off
O complicado é que esses dois tipos de erro são inversamente relacionados. Se você reduz a chance de um erro Tipo I, a chance de um erro Tipo II aumenta, e vice-versa.
É um equilíbrio delicado que você precisa manter entre os dois. O ideal é minimizar ambos os erros, mas muitas vezes isso não é viável. Então você depende do contexto para decidir qual erro pode ser mais prejudicial.
Por que isso importa em testes A/B?
O teste A/B depende muito de decisões estatísticas. Entender esses erros ajuda a interpretar os resultados com mais eficácia e torna o processo de tomada de decisão mais ágil.
Lembre-se: os erros Tipo I e II não podem ser completamente evitados. A ideia principal é gerenciá-los e minimizá-los.
Precisamos ter em mente que esses erros acontecem, aceitá-los e, mais importante, saber como lidar com eles. Assim, podemos tomar decisões mais precisas e confiáveis.
Por mais complicados que pareçam, entender os erros Tipo I e Tipo II é uma parte realmente essencial da jornada de otimização.
Então, lembre-se de manter os erros Tipo I e II sob controle e bons testes!
