Comment calculer la puissance statistique d’un test A/B
Vous vous demandez si votre test A/B est vraiment significatif ? Si vous avez assez de trafic pour détecter un vrai effet ? L'analyse de puissance avec un calculateur pour AB test vous permettra, non seulement de calculer la bonne taille d’échantillon, mais aussi de garantir la fiabilité de vos résultats et rassembler toutes les équipes autour de données fiables et exploitables.
Dans cet article, nous aborderons :
- Qu’est-ce qu’une analyse de puissance ?
- Pourquoi faire une analyse de puissance ?
- Comment réaliser une analyse de puissance ?
- Comment faire une analyse de puissance avec Kameleoon ?
Qu’est-ce qu’une analyse de puissance ?
L’analyse de puissance est un calcul permettant d’estimer la capacité de votre test à détecter un effet réel. Elle repose sur quatre variables clés :
- La puissance statistique
- Le seuil de significativité (alpha)
- La taille de l’effet (d)
- La taille d’échantillon
Ces estimations peuvent provenir de vos données existantes : conversions de la version de contrôle, trafic, etc. Il suffit de disposer de trois de ces variables pour calculer le quatrième. Pour ce faire, vous pouvez utiliser un calculateur pour AB test, comme celui de Kameleoon.
En résumé, une analyse de puissance permet de calculer la plus petite taille d’échantillon nécessaire pour détecter un effet réel (MDE = Minimum Detectable Effect) et rejeter l’hypothèse nulle (qui suppose qu’il n’y a aucune différence entre vos variantes).
POURQUOI FAUT-IL CONNAÎTRE LA TAILLE D’ÉCHANTILLON NÉCESSAIRE ?
Chaque test part d’une hypothèse.
Prenons l’hypothèse : “La version améliorée de ma page de paiement performera mieux que la version actuelle”. L’hypothèse nulle, ici, serait : « Les deux pages ont le même taux de conversion. »
Une analyse de puissance vous dira combien de visiteurs vous devez inclure pour détecter une différence significative entre les deux pages. Avec une taille d’échantillon suffisante, vous pourrez rejeter l’hypothèse nulle en toute confiance. Vous obtiendrez cette information grâce à un calculateur de puissance pour A/B test.
Pourquoi faire une analyse de puissance ?
1. ÉVITER LES ERREURS DE TYPE I ET II
L’analyse de puissance vous permet d’éviter deux types d’erreurs majeurs :
- Erreur de type I : Détecter un effet qui n’existe pas (Faux positif).
- Erreur de type II : Rater un effet qui existe (Faux négatif) La puissance statistique est l’inverse du risque d’erreur de type II (β). Plus votre puissance est élevée, moins vous risquez de passer à côté d’un effet réel.
Avec le bon échantillon, vous pouvez détecter des différences même faibles, et éviter les faux positifs.
2. RENFORCER LA CONFIANCE DANS VOS RÉSULTATS
L’analyse de puissance est le contrôle qualité de l’A/B test. En la calculant avant de vous lancer, vous vous assurez de réaliser votre test dans les meilleures conditions. Un test bien dimensionné, c’est un test aux résultats fiables et exploitables.
3. AMÉLIORER L’ALLOCATION DE VOS RESSOURCES
Vous avez des dizaines d’idées à tester ? Pas assez de trafic ou de temps pour toutes les valider ? L’analyse de puissance vous aide à prioriser les tests réalisables en tenant compte de vos contraintes.
Elle vous permet également de définir si vous avez, actuellement, les capacités en termes de trafic et de temps pour tester vos hypothèses et obtenir des résultats fiables.
Rappel utile : les tests côté client qui durent plus de 30 jours sont déconseillés. Au-delà, les cookies expirent, et faussent vos mesures.
Comment réaliser une analyse de puissance ?
Il vous faut trois des quatre composants à utiliser dans un calculateur de puissance pour A/B test comme celui de Kameleoon :
LA PUISSANCE STATISTIQUE
La puissance statistique est la probabilité de rejeter correctement l’hypothèse nulle. Elle est liée à la valeur p (p-value). Si votre valeur p est < 0.05, vous pouvez considérer que la différence entre vos versions est suffisamment significative.
La formule pour calculer la puissance statistique est : Puissance Statistique = 1 - β Sachant que β représente le risque d’erreur de type II. Avec une puissance de 80 %, vous avez 80 % de chances de ne pas rater un effet réel.
SEUIL DE SIGNIFICATIVITÉ (α)
Le seuil de significativité représente le risque d’erreur de type I (faux positif) que vous acceptez. Avec un seuil classique de 0.05, vous acceptez 5 % de chances de vous tromper. Plus ce seuil est bas, moins vous prenez de risques de conclure à tort qu’un effet est réel.
TAILLE D’ÉCHANTILLONNAGE
La taille d’échantillonnage est le nombre de visiteurs (ou vues, emails, sessions) nécessaires pour détecter un effet réel. Estimer la taille d’échantillon d’un A/B test doit se faire à partir de données tangibles.
Elle dépend directement de la puissance et du seuil choisi : plus vous exigez de rigueur, plus il vous faudra de monde. Elle dépend aussi de la taille de l’effet : plus l’effet attendu est faible, plus l’échantillon doit être grand.
TAILLE DE L’EFFET (D)
Pendant un test, vous pouvez observer une différence qui dépasse votre seuil de signification statistique (par exemple p < 0,05), mais cela ne veut pas dire que cette différence a une réelle valeur pour le business. Par exemple, si votre page de paiement actuelle génère 100 conversions et qu’une nouvelle version en génère 120, vous pourriez obtenir une p-value inférieure à 0,05 et donc conclure que la variation est significative. Pourtant, cette différence peut être trop faible pour justifier un changement stratégique ou Produit.
C’est là que la notion de taille de l’effet entre en jeu : elle permet d’évaluer l’ampleur réelle de la différence observée et son utilité potentielle dans la prise de décision. En la mesurant, vous comprenez si l’effet observé peut devenir une amélioration concrète.
Le Minimum Detectable Effect (MDE), lui, vous aide à estimer dès le départ la plus petite amélioration que votre test pourra détecter de façon fiable, selon votre trafic, vos conversions et la durée prévue de l’expérimentation.
Voici un exemple de calcul de MDE avec le calculateur pour AB test de Kameleoon. Vous disposez des informations suivantes : Vous avez 15 800 visiteurs/semaine, 850 conversions, deux variantes.
Un test de quatre semaines sur cette page devra générer plus de 9 conversions supplémentaires pour que l’effet mesuré soit considéré comme suffisant pour être exploitable.
Comment faire une analyse de puissance avec Kameleoon ?
Le calculateur A/B de Kameleoon vous permet de :
- Calculer votre MDE
- Estimer la durée de votre test
- Faire une analyse de puissance complète
Pour ce type de mesure, commencez par calculer votre MDE. Entrez le nombre de visiteurs sur votre page, vos conversions actuelles et le nombre de variantes. Une fois votre MDE calculé, rendez-vous dans l’onglet “Power analysis”, renseignez votre MDE, votre taux de conversion actuel et précisez si vous lancez un test “One-side” ou “Two-side”. Ajoutez votre taux de significativité et votre puissance statistique avant de cliquer sur “Calculer”.
