Bayesianischer-A/B-Test-Rechner

Was ist Bayes'sches A/B-Testing?

Bayes'sches A/B-Testing liefert Wahrscheinlichkeitsaussagen darueber, welche Variante besser ist - anstatt nur "signifikant oder nicht".

Frequentistisch: "Ist der Unterschied signifikant bei α = 0,05?" Bayes'sch: "Wie hoch ist die Wahrscheinlichkeit, dass B besser ist als A?"

Der Bayes'sche Ansatz beantwortet die Frage, die die meisten Menschen eigentlich beantwortet haben moechten.

Wichtige Ergebnisse

Wahrscheinlichkeit, die beste Variante zu sein

"Es besteht eine 94%ige Wahrscheinlichkeit, dass Variante B eine hoehere Konversionsrate hat."

Dies beantwortet direkt die Frage: "Welche sollte ich waehlen?"

Erwartete Steigerung

"B konvertiert voraussichtlich 0,8 Prozentpunkte hoeher als A."

Kombiniert die Unsicherheit darueber, ob B besser ist, mit der Unsicherheit darueber, wie viel besser.

Risikobewertung

"Wenn wir B waehlen, aber A tatsaechlich besser ist, betraegt der erwartete Verlust 0,1 Prozentpunkte."

Hilft, das Risiko einer falschen Entscheidung zu quantifizieren.

Funktionsweise

Prior-Verteilung

Beginnen Sie mit Annahmen vor der Datenerhebung:

• Uninformativer Prior: Keine starken Annahmen (Gleichverteilung)
• Informativer Prior: Basierend auf historischen Daten oder Fachwissen

Posterior-Verteilung

Kombinieren Sie den Prior mit beobachteten Daten mithilfe des Satzes von Bayes:

Posterior ∝ Likelihood × Prior

Fuer Konversionsraten wird das Beta-Binomial-Modell verwendet.

Vergleich

Vergleichen Sie Posterior-Verteilungen:

• Simulieren Sie viele Ziehungen aus dem Posterior jeder Variante
• Zaehlen Sie, wie oft B > A ist

Beispielanalyse

Beobachtete Daten:

• A: 5.000 Besucher, 180 Konversionen (3,60%)
• B: 5.000 Besucher, 210 Konversionen (4,20%)

Bayes'sche Ergebnisse:

• P(B > A) = 92,3%
• Erwartete Steigerung: 0,6 Prozentpunkte
• 95%-Kredibilitaetsintervall fuer die Differenz: [-0,2%, 1,4%]

Interpretation: Hohe Wahrscheinlichkeit, dass B besser ist, aber eine gewisse Chance, dass A tatsaechlich besser ist.

Bayes'sch vs. Frequentistisch

Abbruchregeln

Frequentistisch: Muss bis zur vorbestimmten Stichprobengroesse laufen. Fruehzeitiger Abbruch erhoeht die Falsch-Positiv-Rate.

Bayes'sch: Kann kontinuierlich ueberwacht werden. Abbruch, wenn die Wahrscheinlichkeit einen Schwellenwert ueberschreitet (z.B. P(B > A) > 95%).

Interpretation

Frequentistisch: "Wenn es keinen Unterschied gibt, besteht eine 3%ige Chance, so extreme Daten zu sehen."

Bayes'sch: "Es besteht eine 97%ige Wahrscheinlichkeit, dass B besser ist."

Die Bayes'sche Aussage ist intuitiver.

Wahl der Priors

Uninformativ (Nicht-informativ)

Beta(1, 1) = Uniform(0, 1)

Alle Konversionsraten sind vor der Datenerhebung gleich wahrscheinlich. Laesst die Daten sprechen.

Schwach informativ

Beta(10, 200) fuer eine 5%-Baseline

Konzentriert die Wahrscheinlichkeit um die erwartete Rate, laesst aber die Daten dominieren.

Informativ

Basierend auf historischer Leistung mit aehnlichen Tests.

Mehr Daten aus dem Prior → Prior ist wichtiger → weniger Daten aus dem Test benoetigt.

Entscheidungsregeln

Wahrscheinlichkeitsschwelle

"Waehle B, wenn P(B > A) > 95%"

Einfach und intuitiv.

Erwartungswert

"Waehle die Variante mit der hoeheren erwarteten Konversionsrate"

Kann B selbst bei P(B > A) = 60% bevorzugen, wenn das erwartete Potenzial gross ist.

Wert perfekter Information

Wie viel waere es wert, die wahren Raten zu kennen?

Wenn niedrig, treffen Sie eine Entscheidung; wenn hoch, sammeln Sie mehr Daten.

Mehrere Varianten

Bayes'sche Methoden erweitern sich natuerlich:

P(A ist beste) = 5% P(B ist beste) = 75% P(C ist beste) = 20%

Waehlen Sie B mit hoher Konfidenz, oder testen Sie weiter B gegen C.

Kontinuierliche Ueberwachung

Die Bayes'sche Analyse ermoeglicht gueltige Schlussfolgerungen zu jedem Zeitpunkt:

Tag 3: P(B > A) = 68% → Weiter testen Tag 7: P(B > A) = 89% → Zunehmend sicher Tag 10: P(B > A) = 96% → Stoppen, B implementieren

Keine Notwendigkeit fuer feste Stichprobengroessen oder Korrektur fuer mehrfaches Betrachten.

Kredibilitaetsintervalle

Bayes'sche Kredibilitaetsintervalle haben eine direkte Interpretation:

"Es besteht eine 95%ige Wahrscheinlichkeit, dass die wahre Konversionsrate zwischen 3,2% und 4,1% liegt"

Dies ist das, was Menschen oft faelschlicherweise denken, dass frequentistische KIs bedeuten.

Verlustfunktionen

Ueber "welche ist besser" hinaus, betrachten Sie den erwarteten Verlust:

Erwarteter Verlust bei Wahl von B = P(A > B) × E[A - B | A > B]

Wenn der erwartete Verlust gering ist (z.B. 0,05 Prozentpunkte), ist die Entscheidung risikoarm.

Historischer Kontext

Thomas Bayes (1701-1761) entwickelte das grundlegende Theorem.

Bayes'sche Methoden waren waehrend des groessten Teils des 20. Jahrhunderts umstritten, gewannen aber an Akzeptanz durch:

• Rechnerische Fortschritte (MCMC, Monte-Carlo-Methoden)
• Anerkennung frequentistischer Einschraenkungen in der Praxis
• Adoption durch die Tech-Branche fuer A/B-Testing

Unternehmen wie Google, Microsoft und Optimizely haben Bayes'sches A/B-Testing uebernommen.

Einschraenkungen

Prior-Sensitivitaet

Ergebnisse haengen von der Prior-Wahl ab, besonders bei wenigen Daten. Sensitivitaetsanalysen helfen.

Rechnerische Komplexitaet

Komplexere Modelle erfordern Simulation anstelle von geschlossenen Loesungen.

Organisatorisches Verstaendnis

Teams, die mit p-Werten vertraut sind, benoetigen moeglicherweise Schulungen zur Interpretation von Wahrscheinlichkeiten.

Verwandte Berechnungen

• A/B-Test Stichprobengroessen-Rechner — Planung (frequentistisch)
• A/B-Test Signifikanzrechner — Frequentistische Analyse
• Konversionsrate KI-Rechner — Frequentistische KIs
• KI fuer Differenz von Anteilen — Raten vergleichen

Zusammenfassung

Bayes'sches A/B-Testing liefert intuitive Wahrscheinlichkeitsaussagen darueber, welche Variante besser ist. Im Gegensatz zu frequentistischen Methoden koennen Sie kontinuierlich ueberwachen, Vorwissen einbeziehen und direkte Antworten auf Geschaeftsfragen erhalten. Das Ergebnis "P(B > A) = 92%" ist einfacher zu verstehen und umzusetzen als "p = 0,04". Obwohl andere statistische Methoden erforderlich sind, passen Bayes'sche Methoden besser dazu, wie Entscheidungen tatsaechlich getroffen werden - durch Bewertung von Wahrscheinlichkeiten und erwarteten Ergebnissen, nicht durch willkuerliche Signifikanzschwellen.