Calculateur de signification test A/B
Analysez les résultats de votre test A/B.
Charger un exemple
Contrôle (A)
Variante (B)
Entrez les données de visiteurs et conversions pour les deux variations
Qu'est-ce que l'analyse de significativité des tests A/B ?
Après avoir exécuté un test A/B, vous devez déterminer si la différence observée est réelle ou simplement du bruit aléatoire. Ce calculateur analyse vos résultats :
Entrées :
- Visiteurs et conversions pour chaque variante
- Niveau de significativité (généralement 0,05)
- Test unilatéral ou bilatéral
Sorties :
- Valeur p
- Significativité statistique (oui/non)
- Intervalle de confiance pour la différence
- Amélioration relative
Lecture de vos résultats
Valeur p
La probabilité de voir une différence aussi grande (ou plus grande) si les deux variantes performaient de manière égale.
| Valeur p | Interprétation |
|---|---|
| p < 0,01 | Preuves solides contre une performance égale |
| p < 0,05 | Preuves modérées (conventionnellement « significatif ») |
| p < 0,10 | Preuves faibles |
| p ≥ 0,10 | Preuves insuffisantes de différence |
Intervalle de confiance
La plage des vraies différences plausibles :
« La variante B convertit 1,2 point de pourcentage de plus (IC 95 % : 0,4 à 2,0) »
Si l'IC exclut 0, le résultat est statistiquement significatif à ce niveau de confiance.
Amélioration relative
Le pourcentage d'amélioration :
Amélioration = (Taux_B - Taux_A) / Taux_A × 100 %
« La variante B montre une amélioration relative de 15 % »
Exemple d'analyse
Résultats du test :
- Contrôle (A) : 10 000 visiteurs, 320 conversions (3,20 %)
- Traitement (B) : 10 000 visiteurs, 385 conversions (3,85 %)
Analyse :
- Différence absolue : 0,65 point de pourcentage
- Amélioration relative : 20,3 %
- Valeur p : 0,032
- IC 95 % pour la différence : [0,06, 1,24] points de pourcentage
Conclusion : B surpasse significativement A (p < 0,05). La vraie amélioration se situe probablement entre 0,06 et 1,24 point de pourcentage.
Significativité statistique vs. significativité pratique
Statistiquement significatif : Différence peu probable due au hasard seul.
Pratiquement significatif : Différence suffisamment grande pour avoir de l'importance pour l'entreprise.
Une amélioration de 0,01 % peut être statistiquement significative avec des millions de visiteurs mais peut ne pas justifier les coûts d'implémentation.
Toujours considérer :
- Effort d'implémentation
- Impact sur les revenus
- Expérience utilisateur
- Dette technique
Scénarios courants
Gagnant clair
« B convertit à 5,2 % vs A à 4,0 %, p = 0,001 »
Preuves solides que B est meilleur. Implémentez B en toute confiance.
Pas de gagnant clair
« B convertit à 4,2 % vs A à 4,0 %, p = 0,35 »
Pas de différence significative. Options :
- Continuer à tester pour plus de données
- Choisir en fonction de métriques secondaires
- Par défaut à l'implémentation la plus simple
Perdant surprenant
« B convertit à 3,5 % vs A à 4,0 %, p = 0,02 »
B est significativement pire. N'implémentez pas B. Enquêtez pourquoi cela a échoué.
Unilatéral vs. bilatéral
Bilatéral (recommandé) : Teste si les variantes diffèrent dans l'une ou l'autre direction. Utilisez lorsque B pourrait théoriquement être pire que A.
Unilatéral : Teste uniquement si B est meilleur. Valeur p plus basse, mais ignore la possibilité que B soit pire.
Valeur p (unilatérale) = Valeur p (bilatérale) / 2
La méthode de calcul
Ce calculateur utilise un test z pour deux proportions :
z = (p̂_B - p̂_A) / √[p̂(1-p̂)(1/n_A + 1/n_B)]
Où p̂ est la proportion combinée.
Pour les petits échantillons ou les proportions extrêmes, des méthodes exactes peuvent être plus appropriées.
Interprétation des résultats non significatifs
« Pas de différence significative » ne signifie pas « pas de différence » — cela signifie que vous ne pouvez pas exclure le hasard.
Vérifiez l'intervalle de confiance :
- L'IC inclut 0 et des effets positifs et négatifs significatifs : Non concluant, besoin de plus de données
- L'IC inclut 0 mais seulement de petits effets : Conclure qu'il n'y a pas de grande différence
Variantes multiples
Tester A vs. B vs. C nécessite un ajustement pour les comparaisons multiples :
Sans correction : Chaque comparaison à α = 0,05 Le risque de faux positifs sur toutes les comparaisons augmente.
Avec correction de Bonferroni : Utiliser α / nombre de comparaisons Plus conservateur mais contrôle le taux d'erreur global.
Erreurs courantes
Arrêt précoce
Arrêter lorsque vous voyez p < 0,05 pour la première fois gonfle les faux positifs. Exécutez jusqu'à la taille d'échantillon planifiée.
Ignorer la taille d'effet
Une valeur p de 0,04 ne vous dit pas si l'effet est suffisamment grand pour avoir de l'importance. Rapportez les intervalles de confiance.
Sélection de métriques
Tester de nombreuses métriques et ne rapporter que celles significatives gonfle les faux positifs. Pré-spécifiez les métriques principales.
Ignorer les segments
La non-significativité globale pourrait cacher des effets significatifs dans les segments (ou vice versa). Mais l'analyse par segment nécessite plus de prudence concernant les comparaisons multiples.
Vérification de la puissance
Si le test n'est pas significatif, considérez :
- Le test était-il adéquatement alimenté ?
- Quel était l'effet minimal détectable ?
- Aviez-vous suffisamment de données pour détecter une différence significative ?
Prochaines étapes après l'analyse
Si B gagne de manière convaincante : Implémentez B, surveillez après le lancement.
Si pas de gagnant clair : Envisagez de tester plus longtemps, de tester des changements plus importants ou d'accepter la conception actuelle.
Si B perd : N'implémentez pas B. Apprenez pourquoi cela a échoué.
Calculs associés
- Calculateur de taille d'échantillon pour tests A/B — Planifier avant de tester
- IC pour la différence de proportions — Calcul détaillé de l'IC
- Calculateur d'IC du taux de conversion — IC pour chaque taux
- Calculateur de test A/B bayésien — Interprétation alternative
- Calculateur d'effet minimal détectable — Que pouviez-vous détecter ?
Résumé
L'analyse de significativité des tests A/B détermine si les différences observées dans les taux de conversion sont réelles ou aléatoires. La valeur p quantifie les preuves contre une performance égale, tandis que les intervalles de confiance montrent la plage d'effets plausibles. La significativité statistique indique qu'une vraie différence existe ; la significativité pratique indique qu'elle compte pour l'entreprise. Rapportez à la fois la valeur p et l'intervalle de confiance, exécutez les tests jusqu'à la taille d'échantillon planifiée et considérez toujours si l'effet observé est suffisamment grand pour justifier une action.