Calculateur de test A/B bayésien
Approche bayésienne des tests A/B.
Charger des données d'exemple
Contrôle (A)
Variante (B)
Distribution a priori Beta(α, β)
Beta(1,1) est uniforme (non-informatif). Utilisez vos connaissances a priori pour définir d'autres valeurs.
Entrez les données de visiteurs et conversions pour les deux variations
Qu'est-ce que les tests A/B bayésiens ?
Les tests A/B bayésiens fournissent des déclarations de probabilité sur quelle variante est meilleure, plutôt que simplement « significatif ou non ».
Fréquentiste : « La différence est-elle significative à α = 0,05 ? » Bayésien : « Quelle est la probabilité que B batte A ? »
L'approche bayésienne répond à la question que la plupart des gens veulent vraiment voir répondue.
Résultats clés
Probabilité d'être le meilleur
« Il y a une probabilité de 94 % que la variante B ait un taux de conversion plus élevé. »
Cela répond directement à « Lequel devrais-je choisir ? »
Amélioration attendue
« B devrait convertir 0,8 point de pourcentage de plus que A. »
Combine l'incertitude quant à savoir si B est meilleur avec l'incertitude sur combien meilleur.
Évaluation du risque
« Si nous choisissons B mais A est en fait meilleur, la perte attendue est de 0,1 point de pourcentage. »
Aide à quantifier l'inconvénient d'une mauvaise décision.
Comment ça fonctionne
Distribution a priori
Commencer par des croyances avant de voir les données :
- A priori non informatif : Pas de fortes croyances (distribution uniforme)
- A priori informatif : Basé sur des données historiques ou des connaissances du domaine
Distribution a posteriori
Combiner l'a priori avec les données observées en utilisant le théorème de Bayes :
A posteriori ∝ Vraisemblance × A priori
Pour les taux de conversion, cela utilise le modèle bêta-binomial.
Comparaison
Comparer les distributions a posteriori :
- Simuler de nombreux tirages de l'a posteriori de chaque variante
- Compter combien de fois B > A
Exemple d'analyse
Données observées :
- A : 5 000 visiteurs, 180 conversions (3,60 %)
- B : 5 000 visiteurs, 210 conversions (4,20 %)
Résultats bayésiens :
- P(B > A) = 92,3 %
- Amélioration attendue : 0,6 point de pourcentage
- Intervalle crédible à 95 % pour la différence : [-0,2 %, 1,4 %]
Interprétation : Forte probabilité que B soit meilleur, mais une certaine chance que A soit en fait meilleur.
Bayésien vs. fréquentiste
| Aspect | Fréquentiste | Bayésien |
|---|---|---|
| Question répondue | « Significatif à α ? » | « P(B > A) ? » |
| Arrêt | Échantillon fixe, pas de regard | Surveillance continue OK |
| Résultat | Valeur p, IC | Probabilités, intervalles crédibles |
| Interprétation | Indirecte | Directe |
| Information a priori | Non utilisée | Incorporée |
Règles d'arrêt
Fréquentiste : Doit exécuter jusqu'à la taille d'échantillon prédéterminée. L'arrêt précoce gonfle les faux positifs.
Bayésien : Peut surveiller en continu. Arrêter lorsque la probabilité dépasse le seuil (par ex., P(B > A) > 95 %).
Interprétation
Fréquentiste : « S'il n'y a pas de différence, il y a 3 % de chance de voir des données aussi extrêmes. »
Bayésien : « Il y a une probabilité de 97 % que B soit meilleur. »
La déclaration bayésienne est plus intuitive.
Choix des a priori
Non informatif (non informatif)
Bêta(1, 1) = Uniforme(0, 1)
Tous les taux de conversion également probables avant les données. Laisse les données parler.
Faiblement informatif
Bêta(10, 200) pour une référence de 5 %
Concentre la probabilité autour du taux attendu tout en permettant aux données de dominer.
Informatif
Basé sur la performance historique avec des tests similaires.
Plus de données de l'a priori → l'a priori compte plus → moins de données nécessaires du test.
Règles de décision
Seuil de probabilité
« Choisir B si P(B > A) > 95 % »
Simple et intuitif.
Valeur attendue
« Choisir la variante avec le taux de conversion attendu le plus élevé »
Peut favoriser B même à P(B > A) = 60 % si le potentiel à la hausse attendu est grand.
Valeur de l'information parfaite
Combien vaudrait-il la peine de connaître les vrais taux ?
Si faible, prendre une décision ; si élevé, collecter plus de données.
Variantes multiples
Les méthodes bayésiennes s'étendent naturellement :
P(A est le meilleur) = 5 % P(B est le meilleur) = 75 % P(C est le meilleur) = 20 %
Choisir B avec une grande confiance, ou continuer à tester B vs. C.
Surveillance continue
L'analyse bayésienne permet une inférence valide à tout moment :
Jour 3 : P(B > A) = 68 % → Continuer à tester Jour 7 : P(B > A) = 89 % → Confiance croissante Jour 10 : P(B > A) = 96 % → Arrêter, implémenter B
Pas besoin de tailles d'échantillon fixes ou de correction pour plusieurs regards.
Intervalles crédibles
Les intervalles crédibles bayésiens ont une interprétation directe :
« Il y a une probabilité de 95 % que le vrai taux de conversion soit entre 3,2 % et 4,1 % »
C'est ce que les gens pensent souvent à tort que signifient les IC fréquentistes.
Fonctions de perte
Au-delà de « lequel est meilleur », considérez la perte attendue :
Perte attendue en choisissant B = P(A > B) × E[A - B | A > B]
Si la perte attendue est petite (par ex., 0,05 point de pourcentage), la décision est à faible risque.
Contexte historique
Thomas Bayes (1701-1761) a développé le théorème fondamental.
Les méthodes bayésiennes étaient controversées pendant la majeure partie du 20e siècle mais ont gagné en acceptation avec :
- Avancées de calcul (MCMC, méthodes Monte Carlo)
- Reconnaissance des limites fréquentistes dans la pratique
- Adoption par l'industrie technologique pour les tests A/B
Des entreprises comme Google, Microsoft et Optimizely ont adopté les tests A/B bayésiens.
Limites
Sensibilité à l'a priori
Les résultats dépendent du choix de l'a priori, en particulier avec peu de données. L'analyse de sensibilité aide.
Complexité de calcul
Les modèles plus complexes nécessitent une simulation plutôt que des solutions en forme fermée.
Compréhension organisationnelle
Les équipes familières avec les valeurs p peuvent avoir besoin de formation sur les interprétations de probabilité.
Calculs associés
- Calculateur de taille d'échantillon pour test A/B — Planification (fréquentiste)
- Calculateur de significativité de test A/B — Analyse fréquentiste
- Calculateur d'IC du taux de conversion — IC fréquentistes
- IC pour la différence de proportions — Comparer les taux
Résumé
Les tests A/B bayésiens fournissent des déclarations de probabilité intuitives sur quelle variante est meilleure. Contrairement aux méthodes fréquentistes, vous pouvez surveiller en continu, incorporer des connaissances a priori et obtenir des réponses directes aux questions commerciales. Le résultat « P(B > A) = 92 % » est plus facile à comprendre et à agir que « p = 0,04 ». Bien que nécessitant une machinerie statistique différente, les méthodes bayésiennes s'alignent mieux avec la façon dont les décisions sont réellement prises — évaluer les probabilités et les résultats attendus, pas les seuils de significativité arbitraires.