A/B 테스트 계산기 — 통계적 유의성과 표본 크기

전환율에는 두 비율 z-검정이 표준 방법입니다. 각 전환율과 합동 비율 p = (A 전환 수 + B 전환 수) ÷ (A 방문자 수 + B 방문자 수), 그리고 표준 오차 √(p(1 − p)(1/nA + 1/nB))를 구합니다. 그런 다음 z = (B 전환율 − A 전환율) ÷ SE이고, 양측 p-값은 2 × (1 − Φ(|z|))입니다. p-값이 유의 수준(보통 0.05)보다 작으면 결과가 유의합니다.

A와 B 사이에 실제로 차이가 없다면, 우연만으로 이만큼 이상의 차이가 나타날 확률이 약 5%라는 뜻입니다. B가 더 나을 확률이 95%라는 뜻이 아니며, 효과의 크기에 대해서도 아무것도 알려 주지 않습니다. 그래서 이 도구는 상승률의 신뢰 구간도 함께 보여 줍니다.

기준 전환율과 관심 있는 최소 효과에 따라 다릅니다. 기준 전환율이 3%일 때 10% 상대 개선(3.0%에서 3.3%로)을 95% 신뢰 수준, 80% 검정력으로 검출하려면 변형당 약 51,500명이 필요합니다. 20% 개선을 검출하려면 그 약 4분의 1이면 됩니다. 전환율이 낮은 상황에서 작은 효과를 검출하려면 트래픽이 많이 필요하므로, 트래픽이 적은 사이트는 더 큰 변화를 테스트해야 합니다.

시작하기 전에 B가 더 나은지만 관심이 있고 “B가 더 나쁨”을 “차이 없음”과 똑같이 취급하기로 정하지 않았다면 양측 검정을 쓰세요. 단측 검정은 더 적은 데이터로 유의성에 도달하기 때문에, 결과를 본 뒤에 단측으로 바꾸는 것은 일종의 속임수입니다. 대부분의 테스트 도구는 기본값이 양측 검정입니다.

이런 종류의 테스트에서는 안 됩니다. 반복해서 확인하다가 처음 유의한 결과가 나왔을 때 멈추면 위양성 비율이 5%에서 20~30% 이상으로 높아질 수 있습니다. 계획 도구로 표본 크기를 미리 정하고, 주 단위로 꽉 채워 실행한 뒤 한 번만 평가하세요. 계속 모니터링해야 한다면 그 목적에 맞게 설계된 순차 검정 방법을 사용하세요.

검정력은 지정한 크기의 실제 효과를 테스트가 검출할 확률입니다. 보통 80%가 표준이며, 이는 그 크기의 실제 개선을 다섯 번에 한 번은 놓친다는 뜻입니다. 검정력을 높이려면 방문자가 더 필요합니다. 검정력이 부족한 테스트에서 유의하지 않은 결과가 나왔다고 해서 효과가 없다는 뜻은 아닙니다. 테스트가 판별하지 못했다는 뜻일 뿐입니다.