Calcolatore test A/B — Significatività statistica e dimensione del campione
Verifica se il risultato di un test A/B è statisticamente significativo e pianifica dimensione del campione e durata del prossimo.
Controllo (A)
Variante (B)
Funziona interamente nel tuo browser. Nulla di ciò che inserisci viene inviato a noi o salvato. Sfoglia tutti gli strumenti gratuiti.
Hai trovato un problema o qualcosa che potrebbe andare meglio? Leggiamo ogni messaggio e sistemiamo le cose in fretta.
Questo calcolatore per test A/B ti dice se la differenza tra due tassi di conversione è statisticamente significativa o probabilmente solo rumore. Inserisci visitatori e conversioni per il controllo e per la variante e ottieni il p-value, il livello di confidenza, l'uplift relativo e un intervallo di confidenza per quell'uplift, cioè il numero che indica quanto potrebbe essere grande, in modo plausibile, l'effetto reale.
La seconda scheda pianifica un test prima di avviarlo: dal tuo tasso di conversione di base e dall'effetto più piccolo che vale la pena rilevare, calcola i visitatori necessari per variante e quanti giorni servono con il tuo traffico. La statistica è il classico test z per due proporzioni e la formula della dimensione del campione è quella del diffusissimo calcolatore di Evan Miller; il codice è verificato sui suoi esempi pubblicati. Presuppone una dimensione del campione fissata in anticipo: se controlli i risultati ogni giorno e ti fermi quando sembrano buoni, nessun calcolatore può rendere affidabile quel risultato.
Come si usa
- Nella scheda della significatività, inserisci visitatori e conversioni per il controllo (A) e la variante (B).
- Scegli un livello di confidenza (95% è lo standard) e il test bilaterale, a meno che prima del test tu non abbia deciso di cercare solo un miglioramento.
- Leggi il verdetto, il p-value e l'intervallo dell'uplift. Se l'intervallo include 0, il test non ha dimostrato alcuna differenza.
- Per pianificare un test, passa alla scheda della dimensione del campione, inserisci il tasso di base e l'effetto minimo rilevabile e aggiungi il traffico giornaliero per ottenere la durata.
Domande frequenti
Come si calcola la significatività statistica di un test A/B?
Per i tassi di conversione, il metodo standard è il test z per due proporzioni. Calcola ciascun tasso, il tasso aggregato p = (conversioni A + conversioni B) ÷ (visitatori A + visitatori B) e l'errore standard √(p(1 − p)(1/nA + 1/nB)). Quindi z = (tasso B − tasso A) ÷ SE, e il p-value bilaterale è 2 × (1 − Φ(|z|)). Se il p-value è inferiore al livello di significatività, di solito 0,05, il risultato è significativo.
Cosa significa un p-value di 0,05?
Se tra A e B non ci fosse davvero alcuna differenza, vedresti per puro caso uno scarto almeno così grande circa il 5% delle volte. Non significa che ci sia il 95% di probabilità che B sia migliore, e non dice nulla sull'entità dell'effetto. Ecco perché questo strumento mostra anche l'intervallo di confidenza dell'uplift.
Quanti visitatori servono per un test A/B?
Dipende dal tasso di conversione di base e dall'effetto più piccolo che ti interessa. Con un tasso di base del 3%, rilevare un incremento relativo del 10% (dal 3,0% al 3,3%) con potenza dell'80% e confidenza del 95% richiede circa 51.500 visitatori per variante. Rilevare un incremento del 20% ne richiede circa un quarto. Effetti piccoli su tassi di conversione bassi richiedono molto traffico: per questo i siti con poco traffico dovrebbero testare cambiamenti più grandi.
Meglio un test unilaterale o bilaterale?
Usa il bilaterale, a meno che prima di iniziare tu non abbia deciso che ti interessa solo sapere se B è migliore e che tratteresti “B è peggiore” come “nessuna differenza”. Un test unilaterale raggiunge la significatività con meno dati, ed è proprio per questo che passarci dopo aver visto i risultati è una forma di imbroglio. La maggior parte degli strumenti di test usa il bilaterale come impostazione predefinita.
Posso fermare un test A/B appena diventa significativo?
Non con questo tipo di test. Controllare ripetutamente e fermarsi al primo risultato significativo può far salire il tasso di falsi positivi dal 5% al 20-30% o oltre. Fissa la dimensione del campione in anticipo con il pianificatore, fai durare il test settimane intere e valuta una sola volta. Se hai bisogno di un monitoraggio continuo, usa un metodo di test sequenziale pensato per questo.
Cos'è la potenza statistica?
La potenza è la probabilità che il test rilevi un effetto reale della dimensione che hai specificato. Lo standard abituale è l'80%, il che significa che un incremento reale di quella dimensione verrebbe mancato una volta su cinque. Una potenza maggiore richiede più visitatori. Un risultato non significativo di un test con potenza insufficiente non dimostra che l'effetto non esista; dimostra che il test non era in grado di dirlo.
Leggere correttamente il risultato
Guarda l'intervallo dell'uplift prima del verdetto. Un risultato come “uplift +15%, IC 95% da −2% a +34%” non è significativo e ti dice anche che la variante potrebbe plausibilmente essere un po' peggiore o molto migliore: servono più dati. “+15%, IC da +6% a +25%” è significativo e ti dice che anche l'effetto più piccolo credibile vale la pena.
• Controlla lo sbilanciamento del campione: con una ripartizione 50/50, il numero di visitatori dovrebbe essere simile. Un forte squilibrio di solito indica un bug nel tracciamento o nei reindirizzamenti e invalida il test.
• Fai durare il test almeno una settimana intera, idealmente due, per coprire il comportamento nei giorni feriali e nel weekend ed evitare l'effetto novità.
• Conta ogni visitatore una sola volta per variante. Contare le visualizzazioni di pagina invece degli utenti gonfia il campione e fa sembrare i risultati più certi di quanto siano.
• Testare molte varianti o molte metriche moltiplica i falsi positivi. Usa l'opzione Bonferroni oppure scegli in anticipo una metrica principale.
Il metodo utilizzato
La significatività usa il test z aggregato per due proporzioni, che per due gruppi equivale a un test del chi quadrato senza correzione di continuità. L'intervallo di confidenza della differenza assoluta usa l'errore standard non aggregato; l'intervallo dell'uplift relativo usa il metodo delta sul logaritmo del rapporto tra i tassi, che resta sensato anche quando i tassi sono piccoli.
La dimensione del campione usa n = (z₁₋α/₂ √(2p(1 − p)) + z₁₋β √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ δ², la stessa formula del calcolatore di Evan Miller. Le funzioni della distribuzione normale sono implementate con piena precisione double, quindi i p-value nelle code sono accurati e non arrotondati a zero.
Il test z si basa su un'approssimazione normale. Con meno di circa 30 conversioni in uno dei due gruppi lo strumento ti avvisa, perché l'approssimazione diventa inaffidabile.
Strumenti gratuiti correlati
- Calcolatore CPM — Calcola CPM, spesa pubblicitaria o impressioni a partire dagli altri due valori, più CPC, CPA, CTR e tasso di conversione in un'unica pagina.
- Calcolatore ROAS — Calcola il ROAS, il ROAS di pareggio richiesto dal tuo margine, il CPA massimo, LTV, CAC e periodo di recupero.
- Test dell'oggetto email — Valuta l'oggetto di un'email per lunghezza, parole spam, maiuscole e punteggiatura, e guarda in anteprima come viene troncato su iPhone e in Gmail.
- Generatore di link UTM — Crea link di tracciamento UTM puliti e coerenti per sapere esattamente quali campagne ti portano clienti.