Calculateur de taille d'échantillon test A/B

Qu'est-ce que le calcul de taille d'échantillon pour les tests A/B ?

Les tests A/B comparent deux versions (A et B) pour déterminer laquelle performe le mieux. Avant de lancer le test, vous devez savoir combien d'utilisateurs sont nécessaires pour détecter une différence de manière fiable.

Ce calculateur détermine la taille d'échantillon en fonction de :

• Taux de conversion de référence
• Effet minimal détectable (amélioration)
• Niveau de significativité
• Puissance statistique

Les paramètres clés

Taux de conversion de référence

Votre performance actuelle avant le test :

• « Achèvement de paiement actuel : 3,2 % »
• « Taux d'ouverture d'email : 18 % »
• « Taux de clic sur le bouton : 12 % »

Effet minimal détectable (MDE)

La plus petite amélioration qu'il vaut la peine de détecter :

MDE absolu : « Détecter une augmentation de 0,5 point de pourcentage » (3,2 % → 3,7 %)

MDE relatif : « Détecter une amélioration relative de 15 % » (3,2 % → 3,68 %)

Des MDE plus petits nécessitent des échantillons plus grands.

Niveau de significativité (α)

Taux de faux positifs (détecter une différence alors qu'il n'y en a pas) :

• α = 0,05 (5 %) : Standard pour la plupart des tests
• α = 0,10 (10 %) : Plus permissif, échantillon plus petit nécessaire
• α = 0,01 (1 %) : Plus strict, échantillon plus grand nécessaire

Puissance (1 - β)

Probabilité de détecter une vraie différence :

• 80 % : Minimum standard
• 90 % : Confiance supérieure, échantillon plus grand nécessaire

Exigences de taille d'échantillon

La taille d'échantillon augmente lorsque :

• Le taux de référence est plus proche de 50 %
• Le MDE est plus petit
• La puissance est plus élevée
• Le niveau de significativité est plus bas

Exemples de calculs

Test e-commerce standard :

• Référence : 3 % de conversion
• MDE : 10 % d'amélioration relative (vers 3,3 %)
• α = 0,05, puissance = 80 %
• Requis : ~35 000 par variante

Test à fort trafic :

• Référence : 20 % de taux de clic
• MDE : 5 % d'amélioration relative
• α = 0,05, puissance = 80 %
• Requis : ~12 000 par variante

Test à référence basse :

• Référence : 0,5 % de taux d'achat
• MDE : 20 % d'amélioration relative
• α = 0,05, puissance = 80 %
• Requis : ~180 000 par variante

Estimation de la durée

Convertir la taille d'échantillon en durée de test :

Durée = (Échantillon requis par variante × 2) / (Visiteurs quotidiens × % éligibles)

Exemple :

• Besoin : 25 000 par variante
• Visiteurs quotidiens : 10 000
• Éligibles pour le test : 50 %

Durée = 50 000 / 5 000 = 10 jours

Scénarios courants

Impossible d'atteindre la taille d'échantillon

Si l'échantillon requis dépasse le trafic disponible :

• Accepter un MDE plus grand (détecter uniquement de grandes améliorations)
• Augmenter le niveau de significativité (accepter plus de faux positifs)
• Tester des pages à trafic plus élevé
• Prolonger le test
• Envisager de ne pas tester (prendre une décision par jugement)

Taux de référence très bas

Les taux d'achat de 0,1-1 % nécessitent des échantillons massifs. Options :

• Tester des métriques plus hautes dans l'entonnoir (ajout au panier au lieu d'achat)
• Accepter des MDE plus grands
• Utiliser des méthodes bayésiennes pour des décisions plus précoces

Variantes multiples

Tester A vs. B vs. C vs. D nécessite des échantillons plus grands :

• Plus de comparaisons = plus de risque d'erreur de type I
• Appliquer des corrections pour comparaisons multiples
• Ou : Tester séquentiellement (A vs B, puis gagnant vs C)

Unilatéral vs. bilatéral

Bilatéral (recommandé) : Teste si B diffère de A dans l'une ou l'autre direction. Utilisez ceci sauf si vous êtes certain que B ne peut pas être pire.

Unilatéral : Teste uniquement si B est meilleur que A. Échantillon plus petit, mais manque si B est en fait pire.

Considérations pratiques

Durée minimale du test

Même avec un échantillon adéquat, exécutez les tests pendant au moins :

• 1 semaine complète : Capturer les effets du jour de la semaine
• 2 semaines complètes : Plus robuste
• Cycle commercial complet : Capturer les tendances saisonnières

Visiteur vs. session vs. utilisateur

Définissez votre unité d'analyse :

• Visiteur : Chaque session compte indépendamment
• Utilisateur : Le même utilisateur sur plusieurs sessions compte une fois
• La définition du taux de conversion doit correspondre au calcul de la taille d'échantillon

Exclusion des robots

Le trafic de robots gonfle l'échantillon mais pas les conversions, biaisant les résultats. Filtrer avant le calcul.

Cadre de planification de test

1. Définir la métrique : Qu'est-ce que vous mesurez exactement ?
2. Déterminer la référence : Quelle est la performance actuelle ?
3. Fixer le MDE : Quelle est la plus petite amélioration significative ?
4. Calculer la taille d'échantillon : Combien de visiteurs nécessaires ?
5. Estimer la durée : Combien de temps cela prendra-t-il ?
6. Décision go/no-go : Le test est-il faisable ?

Après le test

Une fois que vous avez collecté suffisamment de données :

• Utilisez le Calculateur de significativité des tests A/B pour analyser les résultats
• Calculez les intervalles de confiance pour la différence
• Envisagez une analyse bayésienne pour des déclarations de probabilité

Erreurs courantes

Arrêt trop précoce

« Nous avons atteint la significativité après 2 jours ! » L'arrêt précoce gonfle les taux de faux positifs. Exécutez jusqu'à la taille d'échantillon planifiée.

Regarder sans correction

Vérifier les résultats de manière répétée augmente les faux positifs. Soit :

• Attendre jusqu'à la fin
• Utiliser des méthodes de test séquentiel conçues pour la surveillance continue

Ignorer la significativité pratique

Significativité statistique ≠ importance commerciale. Une amélioration de 0,01 % peut être significative avec suffisamment de données mais sans valeur en pratique.

Calculs associés

• Calculateur de significativité des tests A/B — Analyser les résultats
• Taille d'échantillon pour deux proportions — Formule générale
• Calculateur d'effet minimal détectable — Que pouvez-vous détecter ?
• Calculateur d'IC du taux de conversion — Intervalles de confiance
• Calculateur de test A/B bayésien — Approche alternative

Résumé

La planification de la taille d'échantillon des tests A/B garantit que votre test peut détecter de manière fiable des améliorations significatives. En fonction du taux de référence, de l'effet minimal détectable et de la confiance souhaitée, le calculateur détermine le nombre de visiteurs nécessaires par variante. Des MDE plus petits nécessitent des échantillons plus grands — il n'y a pas d'échappatoire à ce compromis. Planifiez avant de tester, exécutez jusqu'à la fin et n'arrêtez pas prématurément juste parce que vous voyez de la significativité. Une planification appropriée évite les tests gaspillés qui ne peuvent pas répondre à la question.