Como calcular o valor-p?

Já se perguntou como os cientistas descobrem se suas descobertas são legítimas ou apenas coincidência? É aí que entram os valores-p!

Vamos ver como calcular esses números tão úteis sem se perder no molho da matemática.

Qual é a grande importância dos valores-p?

Os valores-p são como o segurança da balada das conclusões científicas. Eles nos ajudam a decidir se os resultados merecem empolgação ou se devemos manter a calma.

Basicamente, o valor-p nos diz qual a probabilidade de vermos nossos resultados (ou algo ainda mais extremo) se, na verdade, não houver nada de especial acontecendo.

O básico sobre o valor-p

Vamos ao que interessa:

• Um valor-p pequeno (geralmente menor que 0,05) quer dizer: "Opa, isso provavelmente não é só acaso!"
• Um valor-p maior quer dizer: "Hum, isso pode ser só coincidência."

Mas como calculamos esses números, afinal?

Calculando valores-p: passo a passo

1. Defina sua hipótese

Primeiro de tudo, você precisa saber o que está testando. Digamos que você queira saber se um novo método de estudo ajuda os alunos a tirar notas melhores nas provas.

• Hipótese nula (H0): o novo método não faz diferença.
• Hipótese alternativa (H1): o novo método faz diferença.

Esta etapa é crucial porque estrutura toda a sua investigação. Segundo a American Statistical Association, "Conclusões científicas e decisões de negócios ou políticas não devem se basear apenas em um valor-p ultrapassar um limite específico".

2. Escolha seu teste

Escolher o teste certo é como escolher a ferramenta certa para um trabalho. Aqui estão dois dos mais comuns:

Teste Z de duas amostras

Este é o teste ideal para tamanhos de amostra maiores (normalmente n > 30 para cada grupo). É como o canivete suíço dos testes estatísticos. O teste z pressupõe que o desvio padrão da população é conhecido e que os dados têm distribuição normal.

Teste t de Welch

Para amostras menores (especialmente quando os grupos não têm o mesmo tamanho ou têm variâncias diferentes), essa é a melhor opção. O teste t de Welch é uma adaptação do teste t de Student e não pressupõe variâncias iguais entre os grupos.

3. Colete seus dados

Reúna seus números. Você vai precisar de:

• As pontuações médias dos dois grupos (quem usa o método de estudo e quem não usa)
• O quanto as pontuações variam (variância)
• Quantas pessoas há em cada grupo

Garanta que a coleta de dados seja imparcial e representativa. Como observado na Nature, "Um estudo bem planejado pode ser mais informativo do que vários estudos ruins".

4. Faça as contas (ou deixe o computador fazer)

Aqui as coisas podem ficar um pouco complicadas, mas não se preocupe! Na maioria das vezes, você vai usar um software para essa etapa.

Para um teste t de Welch, você calcularia:

Z = (x̄₁ - x̄₂) / √(σ₁² / n₁ + σ₂² / n₂)

Onde:

• x̄₁ e x̄₂ são as médias amostrais do Grupo 1 e do Grupo 2
• σ₁² e σ₂² são as variâncias populacionais do Grupo 1 e do Grupo 2
• n₁ e n₂ são os tamanhos das amostras do Grupo 1 e do Grupo 2

Depois, você usaria esse escore Z para encontrar o valor p em uma tabela de distribuição normal padrão ou em uma calculadora.

5. Interprete seus resultados

Já tem seu valor p? Ótimo! E o que ele significa?

• Se p < 0,05: "Talvez a gente tenha encontrado algo aqui!"
• Se p ≥ 0,05: "De volta à prancheta, pessoal."

No entanto, é fundamental saber que o limite de 0,05 não é uma regra rígida. Como afirmou Ronald Fisher, que introduziu o conceito: "Nenhum pesquisador tem um nível fixo de significância pelo qual, de ano para ano e em todas as circunstâncias, rejeita hipóteses; ele prefere analisar cada caso particular à luz de suas evidências e de suas ideias".

Exemplo do mundo real

Digamos que você esteja testando se um novo energético realmente dá "asas". Você o oferece a 100 pessoas e mede a altura que elas conseguem pular. Outras 100 pessoas recebem um placebo.

• Salto médio do grupo do energético: 20 polegadas
• Salto médio do grupo do placebo: 18 polegadas
• Os dois grupos têm variância de 4 polegadas

Usando uma calculadora de teste Z, você pode obter um valor p de 0,03. Isso é menor que 0,05, então você pode concluir: "Essa bebida pode mesmo estar dando um impulso às pessoas!"

Depois de calcular a significância estatística, rode seu próximo teste A/B com a Mida: editor visual gratuito, sem necessidade de código, script de 15KB.

Conclusão

Calcular valores p é basicamente ver se seus resultados são apenas um acaso ou se pode haver algo real acontecendo.

Embora a matemática possa ficar complexa, a ideia é simples: o quanto ficaríamos surpresos ao ver esses resultados se nada de fato estivesse acontecendo?

Os valores p são apenas uma ferramenta na caixa de ferramentas científica. Eles ajudam, mas não contam a história toda. Olhe sempre para o panorama geral e considere outros fatores ao interpretar seus resultados.

Perguntas frequentes

P: Os valores p podem me dizer se minha hipótese é verdadeira?
R: Não! Eles só indicam o quão surpreendentes são seus resultados caso não exista um efeito real.

P: E se meu valor p for exatamente 0,05?
R: É um caso limítrofe. Alguns pesquisadores podem dizer que é significativo, outros podem querer mais evidências.

P: Valores p menores significam efeitos maiores?
R: Não necessariamente. Eles só indicam que é menos provável que o efeito se deva ao acaso.