Por que intervalo de confiança de 95%?

Já se perguntou por que somos tão apegados a esse tal intervalo de confiança de 95%? Vamos mergulhar no assunto e descobrir juntos.

O intervalo de confiança de 95%: qual é a grande questão?

Antes de tudo, sejamos realistas. O intervalo de confiança de 95% não é um número mágico que caiu do céu. Ele simplesmente virou o padrão em muitas áreas, principalmente quando falamos de experimentação e significância estatística.

Mas por que 95%? Por que não 90% ou 99%? Bom, é uma questão de equilíbrio.

O jogo das trocas

Funciona assim: quando fazemos experimentos, estamos sempre jogando um jogo de trade-offs. Queremos ter confiança nos resultados, mas também não queremos tornar impossivelmente difícil encontrar efeitos significativos.

Erro do Tipo 1: se o nível for baixo demais (como 80%), corremos o risco de ter falsos positivos demais.

‍

Erro do Tipo 2: se o nível for alto demais (como 99%), podemos deixar passar efeitos reais (falsos negativos).

O nível de 95% meio que acerta o ponto ideal. É rigoroso o bastante para nos dar alguma confiança, mas não tão rígido a ponto de nunca encontrarmos nada interessante.

Um pouco de história

Acredite ou não, esse negócio de 95% existe há bastante tempo. Ronald Fisher, um grande nome da estatística, meio que preparou o terreno na década de 1920. Ele sugeriu usar o nível de significância de 5%, que é o outro lado do nosso intervalo de confiança de 95%.

Fisher não disse que era o único caminho, mas pegou. Virou uma convenção, como cumprimentar com um aperto de mão em vez de uma reverência, ou sei lá.

O que 95% de confiança realmente significa?

Certo, vamos destrinchar isso. Quando dizemos que temos um intervalo de confiança de 95%, estamos dizendo:

"Se rodássemos este experimento várias vezes, em cerca de 95% delas o verdadeiro parâmetro populacional ficaria dentro deste intervalo."

Isso não quer dizer que há 95% de chance de o nosso resultado estar certo. Tem mais a ver com o processo do que com qualquer resultado isolado.

A conexão com o valor-p

Você provavelmente já ouviu falar de valores-p também. Eles têm tudo a ver com intervalos de confiança. Um intervalo de confiança de 95% basicamente diz: "Estes são todos os valores que nos dariam um valor-p menor que 0,05."

Por que não usar sempre um nível maior?

Você pode estar pensando: "Por que não usar sempre 99% ou até mais?" Bom, há algumas razões:

1. Tamanho da amostra: mais confiança exige amostras maiores. Isso significa mais tempo, mais dinheiro, mais de tudo.
2. Significância prática: às vezes, um intervalo de 95% já é bom o bastante para tomar decisões. Será que precisamos mesmo de 99% de certeza antes de mudar a cor de um botão?
3. Falsos negativos: quanto mais alto definimos o nível de exigência, maior a chance de deixarmos passar efeitos reais.

Aplicação no mundo real

Digamos que você esteja rodando um teste A/B no seu site. Você está comparando duas versões de uma landing page. Depois de rodar o teste, você obtém um intervalo de confiança de 95% para a diferença nas taxas de conversão, de 2% a 8%.

O que isso significa em linguagem simples? Significa que você pode ter bastante confiança (95% de confiança, para ser exato) de que, se implementasse a nova versão, o aumento real nas conversões ficaria entre 2% e 8%.

Isso é suficiente para tomar uma decisão? Talvez. Depende do seu perfil de risco e benefício e do tipo de mudança que você está fazendo.

A polêmica

Agora, não pense que todo mundo concorda com essa história dos 95%. Houve muito debate.

Andrew Gelman, um especialista em estatística, defende o uso de intervalos de 50%. O argumento dele? Isso dá uma noção melhor da incerteza e evita que as pessoas tratem o intervalo de 95% como um corte rígido.

Outros apontam que as pessoas muitas vezes interpretam mal os intervalos de confiança, achando que são mais definitivos do que realmente são.

Alternativas e considerações

Embora 95% seja o padrão, não é a única opção:

• 90% de confiança: usado quando você aceita um pouco mais de incerteza.
• 99% de confiança: quando você realmente precisa ter certeza (como em estudos clínicos).
• Métodos bayesianos: uma abordagem totalmente diferente, que alguns consideram mais intuitiva.

Resumo final

O intervalo de confiança de 95% não é perfeito, mas é uma ferramenta útil. Ele nos dá uma forma padronizada de falar sobre a incerteza dos nossos resultados.

O segredo é entender o que ele realmente significa e usá-lo como parte de um processo de decisão mais amplo. Ele não é a palavra final, mas uma peça do quebra-cabeça.

Perguntas frequentes

P: 95% de confiança é sempre a melhor escolha?
R: Nem sempre. Depende das suas necessidades específicas e das consequências de estar errado.

P: Posso usar níveis de confiança diferentes em testes diferentes?
R: Com certeza. Só deixe claro o que você está usando e por quê.

P: Um intervalo de confiança de 95% significa que tenho 95% de certeza do meu resultado?
R: Não exatamente. Ele diz respeito ao processo, não a um resultado isolado.

P: Como o tamanho da amostra afeta o intervalo de confiança?
R: Em geral, amostras maiores levam a intervalos de confiança mais estreitos.

P: Devo sempre buscar significância estatística antes de tomar decisões?
R: Não necessariamente. Às vezes a significância prática é mais importante do que a significância estatística.

Lembre-se: estatística são ferramentas, não regras. Use com sabedoria e ela vai ajudar muito na sua jornada de experimentação.

‍