Comment analyser les résultats de vos tests A/B sur les campagnes

Objectif de cet article

Découvrez quelles données vous pouvez trouver sur la page des résultats du test A/B et ce que chacun de ces indicateurs signifie. Les informations de ce guide s’appliquent à la fois aux A/B testing avec des campagnes d’e-mails et des campagnes SMS.

Les campagnes d’A/B testing peuvent fournir des insights précieux sur votre audience en facilitant la détermination des modifications à apporter à votre stratégie d’envoi. Non seulement vous connaîtrez la variante gagnante d’un test A/B, mais aussi d’autres facteurs importants, comme le pourcentage de confiance du gain et les détails de l’indicateur gagnant.

Résultats de test A/B

Pour voir les résultats d’un test A/B :

1. Accédez à la campagne que vous testez.
2. Sélectionnez l’onglet Résultats de test A/B du rapport de campagne principal.
   

Aperçu du test

Dans la section Résultats du test, vous verrez un aperçu avec les éléments suivants :

• Variante gagnante
  Une fois un test terminé, la variante qui a gagné.
• Statut
  Indique si le test A/B est en cours (c.-à-d., collecte des analyses) ou terminé.
• Probabilité de victoire
  Probabilité que la variante gagnante ait réellement eu le taux d’ouverture, de clic ou de commande le plus élevé après prise en compte du hasard, et si cette probabilité est considérée comme statistiquement significative.
• Amélioration
  Dans quelle mesure la variante gagnante a obtenu de meilleurs résultats que l’autre variante. Calculé en fonction de l’indicateur gagnant (c’est-à-dire le taux d’ouverture, le taux de clics ou le taux de commandes passées). Pour les tests avec plus de 3 variantes, la variante ayant les deuxièmes meilleurs résultats est utilisée pour la comparaison.
• Indicateur gagnant
  Résultats de la variante gagnante pour l’indicateur utilisé pour le test. Par exemple, si le taux d’ouverture a été choisi comme indicateur gagnant, le pourcentage du taux d’ouverture s’afficherait.

Sous ces résultats, vous pouvez consulter les taux d’ouverture, de clic et de commande passée pour chaque variante du test.

Comment l’incrémentalité est calculée

Le pourcentage de lift est différent du pourcentage affiché pour votre variante gagnante. Cela s’explique par le fait que le pourcentage affiché à côté de chaque variante correspond au pourcentage de personnes ayant interagi avec l’e-mail (ouverture, clic, commande passée), tandis que la hausse correspond au pourcentage d’amélioration de la variante gagnante par rapport à l’autre variante.

Par exemple, si vous utilisez le taux de clics comme indicateur gagnant et que la variante A a 5/100 (5 %) de destinataires qui cliquent et la variante B a 4/100 (4 %) de destinataires qui cliquent, la différence entre les variantes est de 1 clic. Cela signifie que le lift était de 1/5 (20 %). En d’autres termes, le lift était de 20 %, la variante A ayant un taux de clics de 5 % et la variante B un taux de clics de 4 %.

Résultats des variantes personnalisées

Si vous avez choisi l’option permettant de personnaliser les variantes pour chaque destinataire, vous verrez des indicateurs légèrement différents sur la page des résultats du test, notamment les suivants :

• Lift total du test A/B
  De combien la meilleure variante a été plus performante que la deuxième meilleure variante. Calculé en fonction de l’indicateur gagnant (c.-à-d. le taux d’ouverture ou le taux de clics).
• Gain de personnalisation
  Pourcentage indiquant de combien le test personnalisé a été plus performant qu’un test A/B standard.
• Taux de clics de personnalisation
  Le taux de clics moyen parmi toutes les variantes de profils qui ont reçu leur variante préférée.
• Caractéristiques du profil dérivées par Klaviyo AI
  Liste des données utilisées par l’IA pour déterminer un schéma parmi les profils qui ont préféré une variante spécifique, c’est-à-dire quels facteurs ont probablement amené une personne à préférer une variante plutôt que l’autre. Cliquez sur chaque variante pour afficher les données utilisées, car elles diffèrent selon la variante.

Comprendre la confiance de gain et la signification statistique

Par exemple, vous souhaitez voir si l’ajout d’emojis à votre objet a un impact sur votre taux d’ouverture avec votre liste d’e-mails. Si vous n’envoyez le test qu’à 2 abonnés et que les emojis ont un meilleur taux d’ouverture, vous ne pouvez pas conclure que le reste de votre liste d’e-mails réagira de la même manière. Si, au lieu de cela, vous faisiez un test avec 100 personnes dans votre liste d’e-mails et constatiez que les émojis ont un taux d’ouverture nettement plus élevé, vous auriez bien plus confiance dans le fait que l’utilisation d’émojis dans vos objets est meilleure pour votre audience.

Sous Probabilité de gain, vous verrez si la variante affichée est statistiquement significative ou non. Si elle est considérée comme significative, cela signifie que la variante a une probabilité de gain élevée (c’est-à-dire 90 % ou plus). Un test peut également être prometteur, non concluant ou non statistiquement significatif. Pour en savoir plus sur la signification statistique dans Klaviyo.

Ressources supplémentaires