Calculadora de teste A/B — significância estatística e tamanho de amostra
Veja se o resultado de um teste A/B é estatisticamente significativo e planeje o tamanho da amostra e a duração do próximo.
Controle (A)
Variante (B)
Funciona totalmente no seu navegador. Nada do que você digita é enviado para nós nem armazenado. Ver todas as ferramentas grátis.
Encontrou um problema ou algo que poderia ser melhor? Lemos todas as mensagens e corrigimos rápido.
Esta calculadora de teste A/B diz se a diferença entre duas taxas de conversão é estatisticamente significativa ou provavelmente apenas ruído. Informe visitantes e conversões do controle e da variante, e ela mostra o valor-p, o nível de confiança, o uplift relativo e um intervalo de confiança para esse uplift, que é o número que indica o tamanho plausível do efeito real.
A segunda aba planeja o teste antes de você rodá-lo: a partir da sua taxa de conversão de base e do menor efeito que vale a pena detectar, ela calcula quantos visitantes são necessários por variante e quantos dias isso leva com o seu tráfego. A estatística é o teste z padrão para duas proporções e a fórmula de tamanho de amostra usada na calculadora de Evan Miller, amplamente citada, e o código é conferido com os exemplos publicados por ele. A calculadora presume um tamanho de amostra fixo, decidido com antecedência; se você confere os resultados todo dia e para quando eles parecem bons, nenhuma calculadora consegue tornar esse resultado confiável.
Como usar
- Na aba Calculadora de significância, informe visitantes e conversões do controle (A) e da variante (B).
- Escolha um nível de confiança (95% é o padrão) e use Bicaudal, a menos que tenha decidido antes do teste procurar apenas melhorias.
- Leia o veredito, o valor-p e o intervalo do uplift. Se o intervalo inclui 0, o teste não mostrou diferença.
- Para planejar um teste, vá para a aba Tamanho de amostra e duração, informe a taxa de base e o efeito mínimo detectável e acrescente o tráfego diário para obter a duração.
Perguntas frequentes
Como calcular a significância estatística de um teste A/B?
Para taxas de conversão, o método padrão é o teste z para duas proporções. Calcule cada taxa, a taxa combinada p = (conversões A + conversões B) ÷ (visitantes A + visitantes B) e o erro padrão √(p(1 − p)(1/nA + 1/nB)). Então z = (taxa B − taxa A) ÷ EP, e o valor-p bicaudal é 2 × (1 − Φ(|z|)). Se o valor-p ficar abaixo do seu nível de significância, normalmente 0,05, o resultado é significativo.
O que significa um valor-p de 0,05?
Se de fato não houvesse diferença entre A e B, você veria uma diferença pelo menos desse tamanho por acaso em cerca de 5% das vezes. Isso não significa que há 95% de chance de B ser melhor, e não diz nada sobre o tamanho do efeito. É por isso que esta ferramenta também mostra o intervalo de confiança do uplift.
Quantos visitantes preciso para um teste A/B?
Depende da sua taxa de conversão de base e do menor efeito que interessa a você. Com uma base de 3%, detectar um aumento relativo de 10% (de 3,0% para 3,3%) com 80% de poder e 95% de confiança exige cerca de 51.500 visitantes por variante. Detectar um aumento de 20% exige mais ou menos um quarto disso. Efeitos pequenos sobre taxas de conversão baixas exigem muito tráfego, e é por isso que sites com pouco tráfego devem testar mudanças maiores.
Devo usar um teste unicaudal ou bicaudal?
Use o bicaudal, a menos que tenha decidido antes de começar que só importa saber se B é melhor e que trataria "B é pior" da mesma forma que "sem diferença". Um teste unicaudal atinge significância com menos dados, e é exatamente por isso que mudar para ele depois de ver os resultados é uma forma de trapaça. A maioria das ferramentas de teste usa o bicaudal por padrão.
Posso encerrar um teste A/B assim que ele ficar significativo?
Não com este tipo de teste. Conferir repetidamente e parar no primeiro resultado significativo pode elevar a taxa de falsos positivos de 5% para 20–30% ou mais. Fixe o tamanho da amostra com antecedência usando o planejador, rode por semanas completas e avalie uma única vez. Se você precisa acompanhar continuamente, use um método de teste sequencial feito para isso.
O que é poder estatístico?
Poder é a probabilidade de o teste detectar um efeito real do tamanho que você especificou. O padrão habitual é 80%, o que significa que um aumento real desse tamanho passaria despercebido uma vez em cada cinco. Mais poder exige mais visitantes. Um resultado não significativo de um teste com pouco poder não mostra que não há efeito; mostra que o teste não conseguiu dizer.
Como ler o resultado corretamente
Olhe o intervalo do uplift antes do veredito. Um resultado de "+15% de uplift, IC 95% de −2% a +34%" não é significativo e também diz que a variante pode plausivelmente ser um pouco pior ou muito melhor: você precisa de mais dados. "+15%, IC de +6% a +25%" é significativo e diz que mesmo o menor efeito plausível ainda vale a pena.
• Verifique se há desequilíbrio na proporção da amostra (sample ratio mismatch): com uma divisão 50/50, as contagens de visitantes devem ser próximas. Um desequilíbrio grande normalmente indica um bug de rastreamento ou de redirecionamento e invalida o teste.
• Rode por pelo menos uma semana inteira, de preferência duas, para cobrir o comportamento de dias úteis e fins de semana e evitar efeitos de novidade.
• Conte cada visitante uma vez por variante. Contar visualizações de página em vez de usuários infla a amostra e faz os resultados parecerem mais certos do que são.
• Testar muitas variantes ou muitas métricas multiplica os falsos positivos. Use a opção de Bonferroni ou escolha uma métrica principal com antecedência.
O método usado
A significância usa o teste z combinado para duas proporções, que, para dois grupos, equivale a um teste qui-quadrado sem correção de continuidade. O intervalo de confiança da diferença absoluta usa o erro padrão não combinado; o intervalo do uplift relativo usa o método delta sobre o logaritmo da razão entre as taxas, que continua coerente quando as taxas são pequenas.
O tamanho da amostra usa n = (z₁₋α/₂ √(2p(1 − p)) + z₁₋β √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ δ², a mesma fórmula da calculadora de Evan Miller. As funções da distribuição normal são implementadas com precisão dupla completa, então os valores-p nas caudas são exatos, e não arredondados para zero.
O teste z depende de uma aproximação normal. Com menos de cerca de 30 conversões em qualquer um dos grupos, a ferramenta avisa, porque a aproximação deixa de ser confiável.
Ferramentas grátis relacionadas
- Calculadora de CPM — Calcule o CPM, o investimento em anúncios ou as impressões a partir dos outros dois, além de CPC, CPA, CTR e taxa de conversão numa só página.
- Calculadora de ROAS — Calcule o ROAS, o ROAS de equilíbrio que sua margem exige, o CPA máximo, o LTV, o CAC e o prazo de payback.
- Testador de assunto de e-mail — Dê uma nota ao assunto de um e-mail por tamanho, palavras que ativam filtros de spam, maiúsculas e pontuação, e veja como ele é cortado no iPhone e no Gmail.
- Gerador de links UTM — Crie links de rastreamento UTM limpos e consistentes para saber exatamente quais campanhas trazem clientes.