Calculadora de test A/B: significancia estadística y tamaño de muestra
Comprueba si el resultado de un test A/B es estadísticamente significativo y planifica el tamaño de muestra y la duración del siguiente.
Control (A)
Variante (B)
Funciona por completo en tu navegador. Nada de lo que introduces se nos envía ni se guarda. Ver todas las herramientas gratis.
¿Encontraste un problema o algo que podría mejorar? Leemos todos los mensajes y lo arreglamos rápido.
Esta calculadora de test A/B te dice si la diferencia entre dos tasas de conversión es estadísticamente significativa o si probablemente es ruido. Introduce los visitantes y las conversiones del control y de la variante, y obtendrás el valor p, el nivel de confianza, la mejora relativa y un intervalo de confianza para esa mejora, que es el dato que indica cuán grande podría ser realmente el efecto.
La segunda pestaña planifica un test antes de lanzarlo: a partir de tu tasa de conversión base y del efecto más pequeño que valga la pena detectar, calcula los visitantes necesarios por variante y cuántos días se tarda en conseguirlos con tu tráfico. La estadística es la prueba z estándar de dos proporciones y la fórmula de tamaño de muestra de la conocida calculadora de Evan Miller, y el código se ha comprobado con sus ejemplos publicados. Supone un tamaño de muestra fijado de antemano; si miras los resultados cada día y paras cuando tienen buena pinta, ninguna calculadora puede hacer que ese resultado sea fiable.
Cómo usarla
- En la pestaña de significancia, introduce los visitantes y las conversiones del control (A) y de la variante (B).
- Elige un nivel de confianza (lo habitual es 95 %) y bilateral, salvo que antes del test decidieras buscar solo mejoras.
- Lee el veredicto, el valor p y el intervalo de mejora. Si el intervalo incluye el 0, el test no ha demostrado ninguna diferencia.
- Para planificar un test, cambia a la pestaña de tamaño de muestra, introduce tu tasa base y el efecto mínimo detectable, y añade el tráfico diario para obtener la duración.
Preguntas frecuentes
¿Cómo se calcula la significancia estadística de un test A/B?
Para tasas de conversión, el método estándar es la prueba z de dos proporciones. Calcula cada tasa, la tasa combinada p = (conversiones A + conversiones B) ÷ (visitantes A + visitantes B) y el error estándar √(p(1 − p)(1/nA + 1/nB)). Después, z = (tasa B − tasa A) ÷ SE, y el valor p bilateral es 2 × (1 − Φ(|z|)). Si el valor p es inferior a tu nivel de significancia, normalmente 0.05, el resultado es significativo.
¿Qué significa un valor p de 0.05?
Si de verdad no hubiera ninguna diferencia entre A y B, verías por azar una diferencia al menos así de grande aproximadamente un 5 % de las veces. No significa que haya un 95 % de probabilidades de que B sea mejor, y no dice nada sobre el tamaño del efecto. Por eso esta herramienta también muestra el intervalo de confianza de la mejora.
¿Cuántos visitantes necesito para un test A/B?
Depende de tu tasa de conversión base y del efecto más pequeño que te interese. Con una tasa base del 3 %, detectar una mejora relativa del 10 % (de 3.0 % a 3.3 %) con una potencia del 80 % y una confianza del 95 % requiere unos 51 500 visitantes por variante. Detectar una mejora del 20 % requiere aproximadamente la cuarta parte. Los efectos pequeños sobre tasas de conversión bajas necesitan mucho tráfico, por eso los sitios con poco tráfico deberían probar cambios más grandes.
¿Debo usar un test unilateral o bilateral?
Usa el bilateral, salvo que antes de empezar decidieras que solo te importa si B es mejor y que tratarías “B es peor” igual que “no hay diferencia”. Un test unilateral alcanza la significancia con menos datos, y precisamente por eso cambiarse a él después de ver los resultados es una forma de hacer trampa. La mayoría de las herramientas de testing usan el bilateral por defecto.
¿Puedo detener un test A/B en cuanto sea significativo?
No con este tipo de test. Comprobar los resultados una y otra vez y parar en el primer resultado significativo puede subir la tasa de falsos positivos del 5 % al 20–30 % o más. Fija el tamaño de muestra de antemano con el planificador, deja el test semanas completas y evalúalo una sola vez. Si necesitas vigilarlo de forma continua, usa un método de test secuencial diseñado para ello.
¿Qué es la potencia estadística?
La potencia es la probabilidad de que el test detecte un efecto real del tamaño que indicaste. Lo habitual es un 80 %, lo que significa que una mejora real de ese tamaño se pasaría por alto una de cada cinco veces. Más potencia requiere más visitantes. Un resultado no significativo de un test con poca potencia no demuestra que no haya efecto; demuestra que el test no podía saberlo.
Cómo interpretar bien el resultado
Mira el intervalo de mejora antes que el veredicto. Un resultado de “+15 % de mejora, IC del 95 % de −2 % a +34 %” no es significativo y además te dice que la variante podría ser algo peor o mucho mejor: necesitas más datos. “+15 %, IC de +6 % a +25 %” es significativo y te dice que el efecto creíble más pequeño sigue valiendo la pena.
• Comprueba que no haya un desajuste en el reparto de la muestra (sample ratio mismatch): con un reparto 50/50, el número de visitantes debería ser parecido. Un desequilibrio grande suele indicar un error de seguimiento o de redirección, e invalida el test.
• Deja el test al menos una semana completa, idealmente dos, para cubrir el comportamiento entre semana y en fin de semana y evitar el efecto novedad.
• Cuenta cada visitante una vez por variante. Contar páginas vistas en lugar de usuarios infla la muestra y hace que los resultados parezcan más seguros de lo que son.
• Probar muchas variantes o muchas métricas multiplica los falsos positivos. Usa la opción de Bonferroni o elige una métrica principal de antemano.
El método utilizado
La significancia usa la prueba z de dos proporciones con tasa combinada, que para dos grupos equivale a una prueba de chi cuadrado sin corrección de continuidad. El intervalo de confianza de la diferencia absoluta usa el error estándar no combinado; el intervalo de la mejora relativa usa el método delta sobre el logaritmo del cociente de tasas, que sigue siendo razonable cuando las tasas son pequeñas.
El tamaño de muestra usa n = (z₁₋α/₂ √(2p(1 − p)) + z₁₋β √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ δ², la misma fórmula que la calculadora de Evan Miller. Las funciones de la distribución normal están implementadas con precisión doble completa, así que los valores p en las colas son exactos y no se redondean a cero.
La prueba z se basa en una aproximación normal. Con menos de unas 30 conversiones en cualquiera de los grupos, la herramienta te avisa, porque la aproximación deja de ser fiable.
Herramientas gratis relacionadas
- Calculadora de CPM — Calcula el CPM, la inversión publicitaria o las impresiones a partir de los otros dos, además del CPC, el CPA, el CTR y la tasa de conversión en una sola página.
- Calculadora de ROAS — Calcula el ROAS, el ROAS de equilibrio que exige tu margen, el CPA máximo, el LTV, el CAC y el periodo de recuperación.
- Probador de asuntos de email — Puntúa un asunto por longitud, palabras que activan filtros de spam, mayúsculas y puntuación, y mira cómo se corta en el iPhone y en Gmail.
- Generador de enlaces UTM — Crea enlaces de seguimiento UTM limpios y coherentes para saber exactamente qué campañas te traen clientes.