Test A/B
Comparez deux variantes A/B. Calculez les taux de conversion, le lift, la significativité statistique (z-test), la p-value et déterminez si le résultat est significatif.
Variante A (Contrôle)
Variante B (Test)
Tout savoir sur le test A/B et la significativité statistique
Pourquoi utiliser un calculateur de test A/B ?
Le test A/B est l'une des méthodes les plus puissantes pour prendre des décisions fondées sur la donnée plutôt que sur l'intuition. En comparant deux variantes d'une page, d'un bouton ou d'un message, vous mesurez objectivement laquelle génère davantage de conversions. Sans outil statistique, il est impossible de distinguer une amélioration réelle d'une simple fluctuation aléatoire du trafic.
La significativité statistique est le critère clé qui valide vos conclusions. Grâce au z-test à deux proportions, ce calculateur évalue si l'écart observé entre la variante A et la variante B est suffisamment grand pour ne pas être dû au hasard. La p-value obtenue quantifie la probabilité d'observer un tel résultat si les deux variantes avaient en réalité les mêmes performances, ce qui vous aide à éviter les faux positifs.
Le calcul du lift — soit le gain relatif de conversion de B par rapport à A — vous donne une mesure concrète de l'impact business de votre changement. Un lift de 15 % statistiquement significatif à 95 % de confiance est une information solide pour justifier le déploiement d'une nouvelle version, allouer des ressources ou prioriser votre feuille de route produit.
Cas d'utilisation courants
- Optimisation de pages d'atterrissage
- Comparez deux versions d'une landing page pour déterminer laquelle convertit le mieux vos visiteurs en prospects ou en clients. En mesurant le taux de conversion de chaque variante et en calculant la p-value, vous saurez avec quel niveau de confiance adopter la nouvelle version. Cette approche est particulièrement utile avant le lancement d'une campagne publicitaire à fort budget.
- Tests de call-to-action (CTA)
- Le libellé, la couleur et le positionnement d'un bouton CTA peuvent faire varier le taux de clics de façon significative. Un test A/B rigoureux vous permet de valider statistiquement quelle formulation — « Essayer gratuitement » vs « Commencer maintenant » — génère le plus d'engagement. Le calculateur vous indique si la différence observée dépasse le seuil de bruit statistique.
- E-mails marketing et objets de messages
- Les campagnes d'emailing bénéficient grandement des tests A/B sur les objets, les accroches ou les offres. En renseignant le nombre d'envois et le nombre d'ouvertures pour chaque variante, ce calculateur détermine si l'amélioration du taux d'ouverture est statistiquement significative. Vous pouvez ainsi industrialiser l'optimisation de vos communications sans vous fier à de simples impressions.
- Expériences produit et UX
- Les équipes produit utilisent les tests A/B pour valider des hypothèses sur de nouvelles fonctionnalités, des parcours utilisateurs remaniés ou des modifications de l'interface. Ce calculateur permet de savoir rapidement si un changement d'UX améliore réellement le taux d'adoption ou de complétion d'un flux, et donc si le déploiement à 100 % est justifié d'un point de vue statistique.
Comment fonctionne le calculateur de test A/B ?
Renseignez pour chaque variante (A et B) le nombre total de visiteurs exposés et le nombre de conversions observées. Le calculateur dérive automatiquement le taux de conversion de chaque groupe ainsi que le lift relatif de B par rapport à A.
Un z-test à deux proportions indépendantes est appliqué pour mesurer l'écart entre les deux taux de conversion. La statistique z obtenue est convertie en p-value bilatérale, qui représente la probabilité d'observer une différence au moins aussi grande si les deux variantes étaient en réalité équivalentes.
Le résultat est présenté avec un verdict clair : le test est significatif si la p-value est inférieure au seuil alpha choisi (généralement 0,05 pour un niveau de confiance de 95 %). Vous disposez ainsi de toutes les informations nécessaires pour décider en toute connaissance de cause de déployer ou non la variante B.
Questions fréquentes
- Qu'est-ce que la significativité statistique dans un test A/B ?
- La significativité statistique indique que la différence de performance observée entre la variante A et la variante B est suffisamment importante pour ne pas être attribuée au seul hasard. Elle est généralement exprimée par une p-value inférieure à 0,05, ce qui correspond à un niveau de confiance de 95 %. En dessous de ce seuil, on considère que le résultat est statistiquement significatif et que la variante gagnante performe réellement mieux, et non par chance.
- Quelle est la différence entre le z-test et le t-test pour un test A/B ?
- Le z-test est adapté à la comparaison de deux proportions (taux de conversion) lorsque les échantillons sont suffisamment grands, ce qui est typiquement le cas dans les expériences web. Le t-test est plutôt utilisé pour comparer des moyennes sur des données continues (valeur moyenne de commande, durée de session, etc.) ou sur de petits échantillons. Pour la grande majorité des tests A/B mesurant des taux de conversion, le z-test à deux proportions est la méthode statistique de référence.
- Combien de visiteurs faut-il pour qu'un test A/B soit valide ?
- La taille d'échantillon minimale dépend du taux de conversion de base, du lift minimum détectable souhaité et du niveau de confiance visé. En règle générale, il est recommandé de calculer la taille d'échantillon requise avant de lancer l'expérience, à l'aide d'un calculateur de puissance statistique. Un test insuffisamment alimenté en données risque de passer à côté d'effets réels (faux négatifs) ou de conclure prématurément avec des résultats non fiables.
- Que signifie le lift dans un test A/B ?
- Le lift mesure l'amélioration relative du taux de conversion de la variante B par rapport à la variante de contrôle A. Par exemple, si A convertit à 3 % et B à 3,6 %, le lift est de 20 %. Le lift est une métrique business directement interprétable, car il traduit l'amélioration statistique en gain concret. Il est important de toujours l'associer à la p-value pour s'assurer que ce gain est statistiquement significatif et non dû au hasard.
- Mes données personnelles sont-elles protégées ?
- Entièrement. Le calcul est réalisé à 100 % côté client, directement dans votre navigateur web. Aucune donnée personnelle n'est envoyée vers un serveur distant ni stockée. Toutes les informations restent sur votre appareil.