A/B-Test-Rechner — statistische Signifikanz & Stichprobengröße
Prüfe, ob ein A/B-Testergebnis statistisch signifikant ist, und plane Stichprobengröße und Laufzeit des nächsten Tests.
Kontrolle (A)
Variante (B)
Läuft komplett in deinem Browser. Nichts, was du eingibst, wird an uns gesendet oder gespeichert. Alle kostenlosen Tools ansehen.
Ein Problem gefunden oder etwas, das besser sein könnte? Wir lesen jede Nachricht und beheben Fehler schnell.
Dieser A/B-Test-Rechner zeigt dir, ob der Unterschied zwischen zwei Conversion-Rates statistisch signifikant ist oder wahrscheinlich nur Rauschen. Gib Besucher und Conversions für die Kontrollgruppe und die Variante ein, und du erhältst p-Wert, Konfidenzniveau, relativen Uplift und ein Konfidenzintervall für diesen Uplift – die Zahl, die dir sagt, wie groß der echte Effekt plausibel sein könnte.
Der zweite Tab plant einen Test, bevor du ihn startest: Aus deiner Basis-Conversion-Rate und dem kleinsten Effekt, der sich nachzuweisen lohnt, berechnet er die nötigen Besucher pro Variante und wie viele Tage das bei deinem Traffic dauert. Die Statistik ist der übliche Zwei-Stichproben-z-Test für Anteile und die Formel für die Stichprobengröße aus dem viel zitierten Rechner von Evan Miller; der Code ist gegen seine veröffentlichten Beispiele geprüft. Vorausgesetzt wird eine vorab festgelegte Stichprobengröße: Wenn du täglich nachschaust und aufhörst, sobald es gut aussieht, kann kein Rechner dieses Ergebnis verlässlich machen.
So funktioniert’s
- Gib im Tab „Signifikanz“ Besucher und Conversions für die Kontrolle (A) und die Variante (B) ein.
- Wähle ein Konfidenzniveau (95 % ist Standard) und „zweiseitig“, es sei denn, du hast vor dem Test entschieden, nur nach einer Verbesserung zu suchen.
- Lies Ergebnis, p-Wert und Uplift-Intervall ab. Enthält das Intervall die 0, hat der Test keinen Unterschied gezeigt.
- Um einen Test zu planen, wechsle in den Tab „Stichprobengröße“, gib Basisrate und minimalen nachweisbaren Effekt ein und ergänze den täglichen Traffic, um die Dauer zu erhalten.
Häufige Fragen
Wie berechnet man die statistische Signifikanz eines A/B-Tests?
Für Conversion-Rates ist die Standardmethode der Zwei-Stichproben-z-Test für Anteile. Berechne jede Rate, die gepoolte Rate p = (Conversions A + Conversions B) ÷ (Besucher A + Besucher B) und den Standardfehler √(p(1 − p)(1/nA + 1/nB)). Dann ist z = (Rate B − Rate A) ÷ SE, und der zweiseitige p-Wert ist 2 × (1 − Φ(|z|)). Liegt der p-Wert unter deinem Signifikanzniveau, meist 0,05, ist das Ergebnis signifikant.
Was bedeutet ein p-Wert von 0,05?
Gäbe es wirklich keinen Unterschied zwischen A und B, würdest du einen mindestens so großen Abstand in etwa 5 % der Fälle rein zufällig sehen. Es bedeutet nicht, dass B mit 95 % Wahrscheinlichkeit besser ist, und es sagt nichts darüber, wie groß der Effekt ist. Deshalb zeigt dieses Tool auch das Konfidenzintervall des Uplifts.
Wie viele Besucher brauche ich für einen A/B-Test?
Das hängt von deiner Basis-Conversion-Rate und dem kleinsten Effekt ab, der dich interessiert. Bei 3 % Basisrate braucht es für den Nachweis eines relativen Anstiegs um 10 % (3,0 % auf 3,3 %) mit 80 % Power bei 95 % Konfidenz etwa 51.500 Besucher pro Variante. Für 20 % Anstieg braucht es ungefähr ein Viertel davon. Kleine Effekte bei niedrigen Conversion-Rates brauchen viel Traffic – deshalb sollten Websites mit wenig Traffic größere Änderungen testen.
Sollte ich einen einseitigen oder einen zweiseitigen Test verwenden?
Zweiseitig, es sei denn, du hast vor dem Start entschieden, dass dich nur interessiert, ob B besser ist, und dass du „B ist schlechter“ genauso behandeln würdest wie „kein Unterschied“. Ein einseitiger Test erreicht Signifikanz mit weniger Daten – genau deshalb ist der Wechsel dazu, nachdem du die Ergebnisse gesehen hast, eine Form von Schummeln. Die meisten Testing-Tools verwenden standardmäßig zweiseitige Tests.
Kann ich einen A/B-Test beenden, sobald er signifikant ist?
Nicht bei dieser Art von Test. Wer wiederholt nachschaut und beim ersten signifikanten Ergebnis aufhört, kann die Falsch-positiv-Rate von 5 % auf 20–30 % oder mehr treiben. Lege die Stichprobengröße vorab mit dem Planer fest, lass den Test ganze Wochen laufen und werte einmal aus. Wenn du laufend überwachen musst, nimm ein dafür entwickeltes sequenzielles Testverfahren.
Was ist statistische Power (Teststärke)?
Power ist die Wahrscheinlichkeit, dass der Test einen echten Effekt der angegebenen Größe erkennt. 80 % ist der übliche Standard: Ein echter Anstieg dieser Größe wird also in einem von fünf Fällen übersehen. Höhere Power braucht mehr Besucher. Ein nicht signifikantes Ergebnis aus einem Test mit zu wenig Power zeigt nicht, dass es keinen Effekt gibt, sondern dass der Test es nicht feststellen konnte.
Das Ergebnis richtig lesen
Schau dir das Uplift-Intervall vor dem Ergebnis an. „+15 % Uplift, 95-%-KI −2 % bis +34 %“ ist nicht signifikant und sagt dir außerdem, dass die Variante plausibel etwas schlechter oder deutlich besser sein könnte: Du brauchst mehr Daten. „+15 %, KI +6 % bis +25 %“ ist signifikant und sagt dir, dass sich selbst der kleinste glaubwürdige Effekt noch lohnt.
• Prüfe auf Sample Ratio Mismatch: Bei einer 50/50-Aufteilung sollten die Besucherzahlen nah beieinanderliegen. Ein großes Ungleichgewicht deutet meist auf einen Tracking- oder Weiterleitungsfehler hin und macht den Test ungültig.
• Lass den Test mindestens eine volle Woche laufen, idealerweise zwei, um Verhalten an Werktagen und Wochenenden abzudecken und Neuheitseffekte zu vermeiden.
• Zähle jeden Besucher pro Variante nur einmal. Wer Seitenaufrufe statt Nutzer zählt, bläht die Stichprobe auf und lässt Ergebnisse sicherer aussehen, als sie sind.
• Viele Varianten oder viele Metriken zu testen vervielfacht die falsch-positiven Ergebnisse. Nutze die Bonferroni-Option oder lege vorab eine primäre Metrik fest.
Die verwendete Methode
Die Signifikanz beruht auf dem gepoolten Zwei-Stichproben-z-Test für Anteile, der bei zwei Gruppen einem Chi-Quadrat-Test ohne Stetigkeitskorrektur entspricht. Das Konfidenzintervall für die absolute Differenz verwendet den ungepoolten Standardfehler; das Intervall für den relativen Uplift nutzt die Delta-Methode auf dem Logarithmus des Ratenverhältnisses, die auch bei kleinen Raten sinnvoll bleibt.
Die Stichprobengröße berechnet sich mit n = (z₁₋α/₂ √(2p(1 − p)) + z₁₋β √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ δ², derselben Formel wie in Evan Millers Rechner. Die Funktionen der Normalverteilung sind mit voller Double-Präzision implementiert, p-Werte in den Randbereichen sind also genau statt auf null gerundet.
Der z-Test beruht auf einer Normalapproximation. Bei weniger als etwa 30 Conversions in einer der Gruppen warnt dich das Tool, weil die Approximation dann unzuverlässig wird.
Ähnliche kostenlose Tools
- CPM-Rechner (TKP) — Berechne CPM, Werbebudget oder Impressionen aus den jeweils anderen beiden Werten, dazu CPC, CPA, CTR und Conversion-Rate auf einer Seite.
- ROAS-Rechner — Berechne ROAS, den Break-Even-ROAS, den deine Marge verlangt, maximalen CPA, LTV, CAC und Amortisationsdauer.
- Betreffzeilen-Tester — Bewerte eine Betreffzeile nach Länge, Spam-Triggerwörtern, Großbuchstaben und Satzzeichen und sieh in der Vorschau, wie sie auf dem iPhone und in Gmail abgeschnitten wird.
- UTM-Link-Builder — Erstelle saubere, einheitliche UTM-Tracking-Links, damit du genau weißt, welche Kampagnen dir Kunden bringen.