Calculateur de test A/B — significativité statistique et taille d’échantillon
Vérifiez si le résultat d’un test A/B est statistiquement significatif, et planifiez la taille d’échantillon et la durée du suivant.
Témoin (A)
Variante (B)
Fonctionne entièrement dans votre navigateur. Rien de ce que vous saisissez n’est envoyé ni stocké. Parcourir tous les outils gratuits.
Un problème, ou quelque chose à améliorer ? Nous lisons chaque message et corrigeons vite.
Ce calculateur de test A/B vous indique si l’écart entre deux taux de conversion est statistiquement significatif ou s’il s’agit probablement de bruit. Saisissez les visiteurs et conversions du groupe témoin et de la variante : il affiche la valeur p, le niveau de confiance, l’uplift relatif et un intervalle de confiance pour cet uplift, le chiffre qui vous dit quelle ampleur l’effet réel peut plausiblement avoir.
Le second onglet planifie un test avant son lancement : à partir de votre taux de conversion de référence et du plus petit effet qui vaille la peine d’être détecté, il calcule le nombre de visiteurs nécessaires par variante et le nombre de jours que cela représente avec votre trafic. Les statistiques sont le test z classique de deux proportions et la formule de taille d’échantillon du calculateur d’Evan Miller, largement cité ; le code est vérifié par rapport à ses exemples publiés. L’outil suppose une taille d’échantillon fixée à l’avance : si vous consultez les résultats chaque jour et arrêtez quand ils semblent bons, aucun calculateur ne peut rendre ce résultat fiable.
Mode d’emploi
- Dans l’onglet de significativité, saisissez les visiteurs et conversions du témoin (A) et de la variante (B).
- Choisissez un niveau de confiance (95 % est la norme) et un test bilatéral, sauf si vous avez décidé avant le test de ne chercher qu’une amélioration.
- Lisez le verdict, la valeur p et l’intervalle d’uplift. Si l’intervalle inclut 0, le test n’a pas montré de différence.
- Pour planifier un test, passez à l’onglet de taille d’échantillon, saisissez votre taux de référence et l’effet minimal détectable, puis ajoutez le trafic quotidien pour obtenir la durée.
Questions fréquentes
Comment calculer la significativité statistique d’un test A/B ?
Pour des taux de conversion, la méthode standard est le test z de deux proportions. Calculez chaque taux, le taux commun p = (conversions A + conversions B) ÷ (visiteurs A + visiteurs B), et l’erreur type √(p(1 − p)(1/nA + 1/nB)). Puis z = (taux B − taux A) ÷ SE, et la valeur p bilatérale vaut 2 × (1 − Φ(|z|)). Si la valeur p est inférieure à votre seuil de significativité, généralement 0,05, le résultat est significatif.
Que signifie une valeur p de 0,05 ?
S’il n’y avait réellement aucune différence entre A et B, vous observeriez un écart au moins aussi grand environ 5 % du temps, par hasard. Cela ne signifie pas que B a 95 % de chances d’être meilleur, et cela ne dit rien de l’ampleur de l’effet. C’est pourquoi cet outil affiche aussi l’intervalle de confiance de l’uplift.
Combien de visiteurs faut-il pour un test A/B ?
Cela dépend de votre taux de conversion de référence et du plus petit effet qui vous intéresse. Avec un taux de référence de 3 %, détecter une hausse relative de 10 % (de 3,0 % à 3,3 %) avec une puissance de 80 % et une confiance de 95 % demande environ 51 500 visiteurs par variante. Détecter une hausse de 20 % en demande à peu près quatre fois moins. Les petits effets sur de faibles taux de conversion exigent beaucoup de trafic : les sites à faible trafic ont donc intérêt à tester des changements plus importants.
Faut-il un test unilatéral ou bilatéral ?
Choisissez le bilatéral, sauf si vous avez décidé avant de commencer que seule compte la question de savoir si B est meilleur, et que vous traiteriez « B est moins bon » comme « aucune différence ». Un test unilatéral atteint la significativité avec moins de données, et c’est précisément pour cela que le choisir après avoir vu les résultats revient à tricher. La plupart des outils de test utilisent le bilatéral par défaut.
Puis-je arrêter un test A/B dès qu’il est significatif ?
Pas avec ce type de test. Vérifier régulièrement et s’arrêter au premier résultat significatif peut faire passer le taux de faux positifs de 5 % à 20–30 %, voire plus. Fixez la taille d’échantillon à l’avance avec le planificateur, faites tourner le test par semaines entières et évaluez une seule fois. Si vous devez surveiller en continu, utilisez une méthode de test séquentiel conçue pour cela.
Qu’est-ce que la puissance statistique ?
La puissance est la probabilité que le test détecte un effet réel de la taille que vous avez spécifiée. 80 % est la norme habituelle : une hausse réelle de cette taille passerait inaperçue une fois sur cinq. Une puissance plus élevée demande plus de visiteurs. Un résultat non significatif issu d’un test sous-dimensionné ne prouve pas l’absence d’effet ; il montre que le test ne permettait pas de trancher.
Bien lire le résultat
Regardez l’intervalle d’uplift avant le verdict. Un résultat « +15 % d’uplift, IC à 95 % de −2 % à +34 % » n’est pas significatif, et indique aussi que la variante pourrait plausiblement être un peu moins bonne ou bien meilleure : il vous faut plus de données. « +15 %, IC de +6 % à +25 % » est significatif et indique que le plus petit effet crédible vaut encore la peine.
• Vérifiez l’absence de déséquilibre de répartition (sample ratio mismatch) : avec une répartition 50/50, les nombres de visiteurs doivent être proches. Un fort déséquilibre signale généralement un bug de suivi ou de redirection, et invalide le test.
• Faites tourner le test au moins une semaine complète, idéalement deux, pour couvrir les comportements de semaine et de week-end et éviter les effets de nouveauté.
• Comptez chaque visiteur une seule fois par variante. Compter des pages vues au lieu d’utilisateurs gonfle l’échantillon et fait paraître les résultats plus sûrs qu’ils ne le sont.
• Tester de nombreuses variantes ou de nombreux indicateurs multiplie les faux positifs. Utilisez l’option Bonferroni ou choisissez à l’avance un seul indicateur principal.
La méthode utilisée
La significativité repose sur le test z de deux proportions avec variance commune, équivalent pour deux groupes à un test du khi-deux sans correction de continuité. L’intervalle de confiance de la différence absolue utilise l’erreur type non commune ; celui de l’uplift relatif applique la méthode delta au logarithme du rapport des taux, qui reste cohérente quand les taux sont faibles.
La taille d’échantillon utilise n = (z₁₋α/₂ √(2p(1 − p)) + z₁₋β √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ δ², la même formule que le calculateur d’Evan Miller. Les fonctions de la loi normale sont implémentées en pleine double précision : les valeurs p dans les queues de distribution sont exactes au lieu d’être arrondies à zéro.
Le test z repose sur une approximation normale. Avec moins d’environ 30 conversions dans l’un des groupes, l’outil vous avertit, car l’approximation devient peu fiable.
Outils gratuits similaires
- Calculateur de CPM — Calculez le CPM, le budget publicitaire ou les impressions à partir des deux autres, ainsi que le CPC, le CPA, le CTR et le taux de conversion sur une seule page.
- Calculateur de ROAS — Calculez le ROAS, le ROAS de rentabilité qu’exige votre marge, le CPA maximal, la LTV, le CAC et le délai de récupération.
- Testeur d’objet d’e-mail — Notez un objet d’e-mail selon sa longueur, ses mots déclencheurs de spam, ses majuscules et sa ponctuation, et voyez comment il est tronqué sur iPhone et dans Gmail.
- Générateur de liens UTM — Créez des liens de suivi UTM propres et cohérents pour savoir exactement quelles campagnes vous apportent des clients.