A taxa de conversão é a estrela-guia errada em fintech (veja o que medir no lugar)

Por que a taxa de conversão pode enganar você em fintech?

Porque a jornada é uma cadeia, não uma etapa isolada. Uma jornada típica vai da visita à solicitação iniciada, solicitação enviada, aprovada, financiada, ativa e retida.

Um teste pode melhorar o primeiro elo e enfraquecer os outros em silêncio. Digamos que você encurte um formulário de solicitação. Mais gente termina de preencher. Mas se isso também deixa entrar mais pessoas que não podem ser aprovadas, ou que nunca financiam a conta, sua taxa de conversão principal subiu enquanto o resultado do negócio não.

Isso é hipotético, mas o formato é comum. A etapa que você mede raramente é a etapa que importa.

Qual deve ser a métrica principal?

Comece com uma regra simples: escolha a métrica mais próxima do valor real que você ainda consiga medir dentro da janela do teste.

O guia da Mida sobre microconversões e macroconversões descreve bem as duas pontas. As microconversões são "ações pequenas, mas significativas" que sinalizam progresso, enquanto as macroconversões são os objetivos principais do negócio. As microconversões acontecem com mais frequência, então geram mais dados. As macroconversões se conectam à receita, mas ocorrem com menos frequência, o que as torna mais difíceis de analisar estatisticamente.

Em fintech, esse trade-off é mais acentuado que o normal. Cada etapa mais fundo no funil vale mais, e cada etapa mais fundo tem menos gente.

Então, em vez de usar o cadastro como padrão, considere mover sua métrica principal uma ou duas etapas para baixo na cadeia. Uma solicitação concluída, uma aprovação ou um primeiro evento de financiamento costuma ser um alvo melhor do que um clique em "Começar".

O que fazer quando o resultado real leva meses?

Alguns resultados, como retenção ou comportamento de pagamento, só aparecem bem depois do fim do teste. Você não pode esperar tanto em todo experimento.

Alguns hábitos ajudam. Estas são sugestões minhas, não conclusões de um estudo:

• Escolha um proxy e diga isso logo de início. Escolha um sinal anterior, como ativação ou uma primeira transação, e registre por que você acredita que ele prevê o resultado posterior.
• Confira o proxy com seu próprio histórico. Se os clientes do passado que atingiram esse marco realmente permaneceram mais tempo, você tem alguma base para confiar nele. Se você não conferiu, trate-o como um palpite.
• Acompanhe as coortes depois do lançamento. Continue monitorando as pessoas que viram cada variante, para que o panorama de longo prazo possa confirmar ou derrubar a leitura inicial.
• Trate o aumento inicial como a ponta otimista. O mesmo efeito de seleção que descrevemos em por que testes vencedores perdem seu ganho se aplica aqui, e ainda mais quando você se apoia em um proxy.

Quais guardrails devem acompanhá-la?

Um guardrail é uma métrica que você não está tentando melhorar, mas que se recusa a deixar piorar. Defina os limites antes de o teste começar, não depois de ver o resultado.

Em fintech, bons candidatos incluem a parcela de solicitações recusadas, alertas de risco ou fraude, contatos e reclamações no suporte e abandono logo após o financiamento.

Se sua métrica principal sobe e um guardrail cruza o limite, isso não é uma vitória limpa. É um resultado que você precisa examinar mais de perto. (Nosso post sobre aprender com testes perdedores é útil aqui, porque esses resultados "mistos" costumam ser onde está o insight de verdade.)

Como isso aparece em um plano de teste?

Aqui está um modelo simples que você pode adaptar:

• Métrica principal: contas financiadas por visitante, ou aprovações por solicitação iniciada.
• Métricas de apoio: taxa de conclusão em cada etapa do funil.
• Guardrails: taxa de recusa, alertas de risco, contatos com o suporte.
• Janela de acompanhamento: um período definido após o lançamento para verificar as coortes posteriores.

Uma ressalva honesta: métricas mais profundas exigem mais tráfego. Antes de se comprometer com uma, verifique se seu volume permite chegar a ela. Nosso guia sobre cálculo de poder estatístico mostra como fazer isso.

Onde o Mida Agent entra?

Um teste mais longo, com várias métricas, significa mais coisas para acompanhar. É aí que o Mida Agent pode ajudar.

Ele é o colega de equipe de IA que fica dentro do app da Mida. Com as Routines, você pode configurá-lo para verificar seus experimentos em intervalos programados e enviar por e-mail o que encontrar. Ele é um complemento ao trabalho de experimentação, não um substituto para escolher a métrica certa logo de início. Você pode ver como ele funciona em nosso post sobre três verificações que o Mida Agent pode fazer por você.

A conclusão

A taxa de conversão não está errada. Ela só raramente conta a história toda em fintech, onde a etapa que você consegue medir mais rápido muitas vezes não é a etapa que gera valor.

Escolha uma métrica principal tão profunda quanto o seu tráfego permitir, assuma com honestidade o seu proxy quando precisar de um e defina seus guardrails antes de o teste começar.

Leitura relacionada

• Micro e macro conversões: qual você deve escolher?
• O problema da replicação: por que um teste A/B "vencedor" às vezes perde o ganho
• Como Aprender com Testes Perdedores (a Maioria das Equipes Não Aprende)
• Como calcular o poder estatístico em testes A/B?
• Como o Atrito no Checkout Custa Receita (e 5 Testes A/B para Resolver)

Fontes

• Mida. Micro e macroconversões: qual escolher?
• Mida. O problema da replicação: por que um teste A/B "vencedor" às vezes perde o ganho
• Central de Ajuda da Mida. O Mida Agent: seu colega de equipe de IA para experimentos