Minimal-Nachweisbarer-Effekt-Rechner

Was ist der Minimum Detectable Effect?

Der Minimum Detectable Effect (MDE) ist die kleinste Effektgröße, die Ihre Studie mit der angegebenen Teststärke und dem Signifikanzniveau zuverlässig erkennen kann. Bei gegebener Stichprobengröße beantwortet der MDE die Frage: „Wie klein kann ein Effekt sein, den ich noch finden kann?"

Große Stichprobe → kleiner MDE (kann subtile Effekte erkennen) Kleine Stichprobe → großer MDE (erkennt nur offensichtliche Effekte)

Warum der MDE wichtig ist

Vor der Durchführung eines Experiments:

• „Ist meine Stichprobe groß genug, um einen bedeutsamen Effekt zu erkennen?"
• „Kann ich einen Effekt erkennen, der klein genug ist, um praktisch relevant zu sein?"

Wenn Ihr MDE größer ist als das, was praktisch bedeutsam wäre, kann die Studie wichtige Effekte nicht vom Rauschen unterscheiden.

Die Berechnung

Der MDE wird aus der Teststärke-Gleichung abgeleitet und nach der Effektgröße aufgelöst:

Für einen Zwei-Stichproben-t-Test:

MDE ≈ (z₁₋α/₂ + z₁₋β) × √(2/n)

Wobei:

• z₁₋α/₂ = kritischer z-Wert für das Signifikanzniveau
• z₁₋β = kritischer z-Wert für die Teststärke
• n = Stichprobengröße pro Gruppe

Beispiel: n = 100 pro Gruppe, α = 0,05 (zweiseitig), Teststärke = 0,80

MDE ≈ (1,96 + 0,84) × √(2/100) = 2,80 × 0,141 = 0,40

Sie können Effekte von d = 0,40 oder größer erkennen.

Interpretation des MDE

Im Kontext von Cohens d

In Originaleinheiten

Umrechnung des standardisierten MDE in Originaleinheiten:

Roher MDE = MDE × σ

Wenn MDE = 0,40 und σ = 15 (z.B. IQ-Punkte): Roher MDE = 0,40 × 15 = 6 Punkte

MDE für Anteile

Beim Vergleich zweier Anteile:

Der MDE hängt vom Basisanteil p₁ und der Stichprobengröße n ab.

Beispiel:

• Basis-Konversionsrate = 10 %
• n = 1.000 pro Gruppe
• α = 0,05, Teststärke = 0,80

MDE ≈ 2,5 Prozentpunkte (kann Änderung auf 12,5 % oder 7,5 % erkennen)

Anwendungen

A/B-Tests

„Mit 10.000 Nutzern pro Variante, was ist die minimale Steigerung, die wir erkennen können?"

Basis: 5 % Konversionsrate MDE ≈ 0,75 Prozentpunkte (15 % relative Steigerung)

Wenn Sie 5 % relative Steigerungen erkennen müssen, benötigen Sie mehr Nutzer.

Klinische Studien

„Bei unseren eingeschlossenen Patienten, was ist der kleinste Behandlungseffekt, den wir nachweisen können?"

Wenn MDE = 8 mmHg Blutdrucksenkung, würden Effekte kleiner als 8 mmHg wahrscheinlich übersehen werden.

Bildungsforschung

„Können wir eine halbe Notenverbesserung mit unserer Stichprobe erkennen?"

Wenn der MDE 0,7 Notenpunkten entspricht, werden halbe Noteneffekte nicht zuverlässig erkannt.

Sensitivitätsanalyse

Berechnen Sie den MDE für verschiedene Szenarien:

Dies hilft bei der Abwägung zwischen Stichprobengröße und Sensitivitätsanforderungen.

MDE und Studienplanung

Vorausplanung

1. Bestimmen Sie den kleinsten praktisch bedeutsamen Effekt
2. Berechnen Sie den MDE für die verfügbare Stichprobengröße
3. Wenn MDE > bedeutsamer Effekt, erhöhen Sie die Stichprobe oder überdenken Sie das Design

Go/No-Go-Entscheidung

Wenn Ihr MDE größer ist als die in ähnlichen Studien berichteten Effekte, könnte Ihre Studie aussichtslos sein.

Ressourcenallokation

Der MDE hilft beim Vergleich von Designs:

• Design A: n = 200, MDE = 0,28
• Design B: n = 100 mit reduzierter Varianz (Clustering), MDE = 0,30

Trotz weniger Probanden kann Design B vorzuziehen sein, wenn es kosteneffektiver ist.

MDE vs. Erwarteter Effekt

Dies sind unterschiedliche Konzepte:

Erwarteter Effekt: Was Sie für den wahren Effekt halten MDE: Kleinster Effekt, den Sie erkennen können

Idealerweise: MDE < Erwarteter Effekt

Wenn MDE > Erwarteter Effekt, werden Sie den Effekt wahrscheinlich verfehlen, selbst wenn er existiert.

Beziehung zur Teststärke

Teststärke und MDE sind umgekehrt proportional (bei festem n und α):

• Größerer Ziel-MDE → höhere Teststärke
• Kleinerer Ziel-MDE → niedrigere Teststärke

Der Teststärke-Rechner berechnet die Teststärke für eine bestimmte Effektgröße.

Einseitig vs. Zweiseitig

Einseitige Tests haben einen kleineren MDE:

Aber einseitige Tests erfordern eine vorherige Begründung.

MDE für verschiedene Designs

Gepaart/Innerhalb-Subjekt

Der MDE ist aufgrund reduzierter Varianz kleiner:

MDE_gepaart ≈ MDE_unabhängig × √(1 - ρ)

Wobei ρ = Korrelation zwischen gepaarten Beobachtungen.

Cluster-Designs

Der MDE ist aufgrund des Designeffekts größer:

MDE_cluster ≈ MDE_einfach × √(1 + (m-1)ρ)

Wobei m = Clustergröße, ρ = Intraklassen-Korrelation.

Häufige Fehler

Ignorieren der praktischen Signifikanz

MDE = 0,05 bedeutet nicht, dass Effekte von 0,04 unwichtig sind – nur, dass Ihre Studie sie nicht zuverlässig erkennen kann.

Verwechslung von MDE mit erwartetem Effekt

Der MDE bezieht sich auf die Erkennungsfähigkeit, nicht auf die Vorhersage dessen, was passieren wird.

Nicht-Berichten des MDE

Studien sollten berichten, was sie erkennen konnten und was nicht. „Wir fanden keinen Effekt" bedeutet mehr, wenn der MDE angegeben wird.

Verwandte Berechnungen

• Stichprobengröße für zwei Mittelwerte — Finden Sie n für den Ziel-MDE
• Stichprobengröße für zwei Anteile — Für binäre Ergebnisse
• Teststärke-Rechner — Teststärke für gegebene Effektgröße
• Cohens-d-Rechner — Beobachtete Effektgröße
• A/B-Test-Stichprobengrößen-Rechner — MDE für Webtests

Zusammenfassung

Der Minimum Detectable Effect zeigt, was Ihre Studie finden kann und was nicht. Bei gegebener Stichprobengröße, Signifikanzniveau und Teststärke quantifiziert der MDE die Sensitivität. Studien mit einem MDE, der größer ist als praktisch bedeutsame Effekte, werden wichtige Befunde übersehen. Berechnen Sie vor der Durchführung von Experimenten den MDE, um sicherzustellen, dass Ihr Design Ihre Frage beantworten kann. Berichten Sie den MDE bei Nullergebnissen, um Lesern zu helfen zu interpretieren, was „kein Effekt" bedeutet – ob Sie bedeutsame Effekte definitiv ausgeschlossen haben oder einfach nicht genügend Sensitivität hatten.