A/B-Test-Stichprobengröße-Rechner

Planen Sie die Stichprobengröße Ihres A/B-Tests.

Bitte gültige Baseline-Rate zwischen 0 und 1 eingeben

Beispiele

Baseline-Rate und MDE eingeben, um Stichprobengröße zu berechnen

Was ist die Berechnung der A/B-Test-Stichprobengröße?

A/B-Tests vergleichen zwei Varianten (A und B), um zu ermitteln, welche besser abschneidet. Vor der Durchführung des Tests müssen Sie wissen, wie viele Nutzer erforderlich sind, um einen Unterschied zuverlässig zu erkennen.

Dieser Rechner bestimmt die Stichprobengröße basierend auf:

  • Basis-Konversionsrate
  • Minimaler erkennbarer Effekt (Lift)
  • Signifikanzniveau
  • Statistische Teststärke

Die wichtigsten Eingabewerte

Basis-Konversionsrate

Ihre aktuelle Leistung vor dem Test:

  • "Aktuelle Checkout-Abschlussrate: 3,2%"
  • "E-Mail-Öffnungsrate: 18%"
  • "Button-Klickrate: 12%"

Minimaler erkennbarer Effekt (MDE)

Die kleinste Verbesserung, die es zu erkennen gilt:

Absoluter MDE: "Erkennung einer Steigerung um 0,5 Prozentpunkte" (3,2% → 3,7%)

Relativer MDE: "Erkennung einer relativen Steigerung von 15%" (3,2% → 3,68%)

Kleinere MDEs erfordern größere Stichproben.

Signifikanzniveau (α)

Falsch-Positiv-Rate (Erkennung eines Unterschieds, wenn keiner existiert):

  • α = 0,05 (5%): Standard für die meisten Tests
  • α = 0,10 (10%): Weniger streng, kleinere Stichprobe erforderlich
  • α = 0,01 (1%): Strenger, größere Stichprobe erforderlich

Teststärke (1 - β)

Wahrscheinlichkeit, einen echten Unterschied zu erkennen:

  • 80%: Standard-Minimum
  • 90%: Höhere Sicherheit, größere Stichprobe erforderlich

Anforderungen an die Stichprobengröße

Die Stichprobengröße steigt, wenn:

  • Die Basisrate näher bei 50% liegt
  • Der MDE kleiner ist
  • Die Teststärke höher ist
  • Das Signifikanzniveau niedriger ist

Beispielberechnungen

Standard-E-Commerce-Test:

  • Basiswert: 3% Konversionsrate
  • MDE: 10% relative Steigerung (auf 3,3%)
  • α = 0,05, Teststärke = 80%
  • Erforderlich: ~35.000 pro Variante

Test bei hohem Traffic:

  • Basiswert: 20% Klickrate
  • MDE: 5% relative Steigerung
  • α = 0,05, Teststärke = 80%
  • Erforderlich: ~12.000 pro Variante

Test bei niedrigem Basiswert:

  • Basiswert: 0,5% Kaufrate
  • MDE: 20% relative Steigerung
  • α = 0,05, Teststärke = 80%
  • Erforderlich: ~180.000 pro Variante

Schätzung der Testdauer

Umrechnung der Stichprobengröße in Testdauer:

Dauer = (Erforderliche Stichprobe pro Variante × 2) / (Tägliche Besucher × Anteil Teilnahmeberechtigter %)

Beispiel:

  • Benötigt: 25.000 pro Variante
  • Tägliche Besucher: 10.000
  • Für Test geeignet: 50%

Dauer = 50.000 / 5.000 = 10 Tage

Häufige Szenarien

Stichprobengröße nicht erreichbar

Wenn die erforderliche Stichprobe den verfügbaren Traffic übersteigt:

  • Größeren MDE akzeptieren (nur große Verbesserungen erkennen)
  • Signifikanzniveau erhöhen (mehr Falsch-Positive akzeptieren)
  • Seiten mit höherem Traffic testen
  • Test länger durchführen
  • Test nicht durchführen (Entscheidung nach Ermessen treffen)

Sehr niedrige Basisraten

Kaufraten von 0,1-1% erfordern sehr große Stichproben. Optionen:

  • Metriken weiter oben im Funnel testen (Warenkorb statt Kauf)
  • Größere MDEs akzeptieren
  • Bayesianische Methoden für frühere Entscheidungen verwenden

Mehrere Varianten

Das Testen von A vs. B vs. C vs. D erfordert größere Stichproben:

  • Mehr Vergleiche = höheres Fehler-1.-Art-Risiko
  • Korrektur für multiples Testen anwenden
  • Oder: Sequentiell testen (A vs. B, dann Gewinner vs. C)

Einseitig vs. Zweiseitig

Zweiseitig (empfohlen): Testet, ob B sich von A in beide Richtungen unterscheidet. Verwenden Sie dies, es sei denn, Sie sind sicher, dass B nicht schlechter sein kann.

Einseitig: Testet nur, ob B besser als A ist. Kleinere Stichprobe, aber erkennt nicht, wenn B tatsächlich schlechter ist.

Praktische Überlegungen

Minimale Testdauer

Auch bei ausreichender Stichprobe sollten Tests mindestens laufen:

  • 1 volle Woche: Wochentags-Effekte erfassen
  • 2 volle Wochen: Robuster
  • Vollständiger Geschäftszyklus: Saisonale Muster erfassen

Besucher vs. Sitzung vs. Nutzer

Definieren Sie Ihre Analyseeinheit:

  • Besucher: Jede Sitzung zählt unabhängig
  • Nutzer: Derselbe Nutzer über Sitzungen hinweg zählt einmal
  • Die Definition der Konversionsrate muss zur Stichprobenberechnung passen

Ausschluss von Bots

Bot-Traffic erhöht die Stichprobe, aber nicht die Konversionen, was die Ergebnisse verzerrt. Vor der Berechnung filtern.

Framework zur Testplanung

  1. Metrik definieren: Was genau messen Sie?
  2. Basiswert ermitteln: Wie ist die aktuelle Leistung?
  3. MDE festlegen: Was ist die kleinste bedeutsame Verbesserung?
  4. Stichprobengröße berechnen: Wie viele Besucher werden benötigt?
  5. Dauer schätzen: Wie lange wird das dauern?
  6. Go/No-Go-Entscheidung: Ist der Test machbar?

Nach dem Test

Sobald Sie ausreichend Daten gesammelt haben:

Häufige Fehler

Zu frühes Stoppen

"Wir haben nach 2 Tagen Signifikanz erreicht!" Frühzeitiges Stoppen erhöht die Falsch-Positiv-Rate. Führen Sie den Test bis zur geplanten Stichprobengröße durch.

Zwischenergebnisse ohne Korrektur prüfen

Wiederholtes Prüfen der Ergebnisse erhöht Falsch-Positive. Entweder:

  • Bis zum Ende warten
  • Sequentielle Testmethoden verwenden, die für kontinuierliches Monitoring konzipiert sind

Praktische Signifikanz ignorieren

Statistische Signifikanz ≠ geschäftliche Relevanz. Eine Steigerung von 0,01% kann mit genügend Daten signifikant sein, ist aber in der Praxis wertlos.

Verwandte Berechnungen

Zusammenfassung

Die Planung der A/B-Test-Stichprobengröße stellt sicher, dass Ihr Test bedeutsame Verbesserungen zuverlässig erkennen kann. Basierend auf der Basisrate, dem minimalen erkennbaren Effekt und der gewünschten Sicherheit bestimmt der Rechner die benötigten Besucher pro Variante. Kleinere MDEs erfordern größere Stichproben – diesem Kompromiss kann man nicht entkommen. Planen Sie vor dem Test, führen Sie ihn bis zum Ende durch und stoppen Sie nicht früh, nur weil Sie Signifikanz sehen. Eine ordentliche Planung verhindert verschwendete Tests, die die Frage nicht beantworten können.

Verwandte Werkzeuge