Vous apprendrez
Découvrez les données que vous pouvez trouver sur la page des résultats des tests A/B et la signification de chacun de ces indicateurs. Les informations contenues dans ce guide s'appliquent à la fois aux tests A/B pour les campagnes par courrier électronique et les campagnes par SMS.
Les campagnes de tests A/B peuvent fournir des informations précieuses sur votre public en facilitant la détermination des changements à apporter à votre stratégie d'envoi. Vous connaîtrez non seulement la variante gagnante d'un test A/B, mais aussi d'autres facteurs importants, tels que le pourcentage de confiance et les détails de la métrique gagnante.
Résultats des tests A/BRésultats des tests A/B
Pour voir les résultats d'un test A/B :
- Naviguez jusqu'à la campagne que vous testez.
- Sélectionnez l'onglet Résultats des tests A/B du rapport de campagne principal.
Aperçu du test
Dans la section Résultats du test, vous verrez un instantané avec ce qui suit :
-
Variante gagnante
Une fois le test terminé, la variante gagnante est indiquée. -
Statut
Indique si le test A/B est en cours (c'est-à-dire qu'il recueille des données analytiques) ou s'il est terminé. -
Probabilité de gain
Probabilité que la variante gagnante ait réellement obtenu le taux d'ouverture, de clics ou de commandes passées le plus élevé après prise en compte du hasard, et que cette probabilité soit considérée comme statistiquement significative. -
Lever
La performance de la variante gagnante par rapport à l'autre variante. Calculé sur la base de l'indicateur gagnant (taux d'ouverture, taux de clics ou taux de commandes passées). Pour les tests comportant plus de trois variantes, le deuxième test le plus performant est utilisé à des fins de comparaison. -
Métrique gagnante
Les résultats de la variante gagnante pour la métrique utilisée pour le test. Par exemple, si le taux d'ouverture a été choisi comme mesure gagnante, le pourcentage du taux d'ouverture sera affiché.
En dessous de ces résultats, vous pouvez consulter les taux d'ouverture, de clics et de commandes passées pour chaque variation du test.
Comment la portance est-elle calculée ?Comment la portance est-elle calculée ?
Le pourcentage de levée est différent du pourcentage indiqué pour votre variante gagnante. En effet, le pourcentage indiqué à côté de chaque variante est le pourcentage de personnes qui ont interagi avec l'e-mail (ouverture, clic, commande), tandis que l'effet de levier est le pourcentage d'amélioration que la variante gagnante a obtenu par rapport à l'autre variante.
Par exemple, si vous utilisez le taux de clics comme indicateur gagnant et que la variante A a 5/100 (5%) de clics des destinataires et la variante B a 4/100 (4%) de clics des destinataires, la différence entre les deux variantes est de 1 clic. Cela signifie que l'ascenseur était de 1/5 (20 %). En d'autres termes, l'effet de levier était de 20 %, la variante A ayant un taux de clics de 5 % et la variante B un taux de clics de 4 %.
Résultats personnalisés des variationsRésultats personnalisés des variations
L’option de sélection d’une stratégie de test n’est disponible que pour les comptes avec plus de 400 000 profils au total. Si votre compte ne remplit pas les conditions requises, Klaviyo utilisera la stratégie de test de la variante gagnante.
Si vous avez choisi l'option de personnaliser les variations pour chaque destinataire, vous verrez des mesures légèrement différentes sur la page des résultats du test, notamment les suivantes :
-
Effet total des tests A/B
L'amélioration de la performance de la meilleure variation par rapport à la deuxième meilleure variation. Calculé sur la base de la mesure gagnante (c'est-à-dire le taux d'ouverture ou le taux de clics). -
Personnalisation lift
Pourcentage de réussite du test personnalisé par rapport à un test A/B standard. -
Taux de clics de la personnalisation
Le taux de clic moyen parmi toutes les variations de profils qui ont reçu leur variation préférée. -
Caractéristiques du profil dérivées par l'IA de Klaviyo
Liste des données utilisées par l'IA pour déterminer un modèle parmi les profils qui ont préféré une variante spécifique, c'est-à-dire les facteurs qui ont probablement amené quelqu'un à préférer une variante plutôt qu'une autre. Cliquez sur chaque variation pour voir les données utilisées, car elles diffèrent d'une variation à l'autre.
Comprendre le gain de confiance et la signification statistique
Supposons, par exemple, que vous souhaitiez voir si l'ajout d'émojis à votre ligne d'objet a un impact sur le taux d'ouverture de votre liste d'adresses électroniques. Si vous n'envoyez le test qu'à deux abonnés et que les emojis ont un meilleur taux d'ouverture, vous ne pouvez pas affirmer avec certitude que le reste de votre liste d'adresses électroniques sera du même avis. Si, au contraire, vous avez testé votre liste d'adresses électroniques auprès de 100 personnes et que vous avez constaté que les émojis ont un taux d'ouverture nettement plus élevé, vous serez beaucoup plus confiant quant au fait que l'utilisation d'émojis dans vos lignes d'objet est préférable pour votre public.
Sous Probabilité de gain, vous verrez si la variation affichée est statistiquement significative ou non. Si elle est jugée significative, cela signifie que la variation a une forte probabilité de victoire (90 % ou plus). Un test peut également être prometteur, non concluant ou non statistiquement significatif. En savoir plus sur la signification statistique dans Klaviyo.
Ressources complémentaires