Comment analyser les résultats de vos tests A/B sur les campagnes

Objectif de cet article

Découvrez quelles données vous pouvez trouver sur la page des résultats de l’A/B testing et ce que signifie chacun de ces indicateurs. Les informations de ce guide s’appliquent à la fois à l’A/B testing avec des campagnes d’e-mail et des campagnes SMS.

Les campagnes d’A/B testing peuvent vous fournir de précieux insights sur votre audience en vous permettant de déterminer facilement les changements à apporter à votre stratégie d’envoi. Non seulement vous connaîtrez la variante gagnante d’un test A/B, mais aussi d’autres facteurs importants, comme la probabilité de victoire et les détails de l’indicateur gagnant.

Résultats de test A/B

Pour voir les résultats d’un test A/B :

1. Accédez à la campagne que vous testez.
2. Sélectionnez l’onglet Résultats de test A/B du rapport de campagne principal.
   

Aperçu du test

Pour un test A/B standard, la section Présentation du test affiche ce qui suit :

• Variante gagnante
  Une fois un test terminé, la variante avec l’indicateur gagnant le plus élevé pour les résultats que vous consultez.
• Statut
  Indique si le test A/B est en cours (c.-à-d., collecte des analyses) ou terminé.
• Probabilité de victoire
  Probabilité que la variante gagnante ait réellement eu le taux d’ouverture, de clic ou de commande le plus élevé après prise en compte du hasard, et si cette probabilité est considérée comme statistiquement significative.
• Amélioration
  Dans quelle mesure la variante gagnante a obtenu de meilleurs résultats que l’autre variante. Calculé en fonction de l’indicateur gagnant (c’est-à-dire le taux d’ouverture, le taux de clics ou le taux de commandes passées). Pour les tests avec plus de 3 variantes, la variante ayant les deuxièmes meilleurs résultats est utilisée pour la comparaison.
• Indicateur gagnant
  Résultats de la variante gagnante pour l’indicateur utilisé pour le test. Par exemple, si le taux d’ouverture a été choisi comme indicateur gagnant, le pourcentage du taux d’ouverture s’afficherait.

Sous ces résultats, vous pouvez consulter les taux d’ouverture et de clics de chaque variante pour les e-mails, ou le taux de clics pour les SMS. Le tableau affiche également des résultats de conversion lorsqu’un indicateur de conversion est disponible ; ce n’est pas toujours Placed Order.

Pour un test A/B standard terminé avec un groupe de test plus petit que l’audience complète, utilisez les onglets dans Aperçu du test pour comparer :

• Résultats de la période de test affiche les interactions pendant la période de test des destinataires du groupe de test.
• Résultats continus inclut les interactions ultérieures du même groupe de test. La variante principale peut changer à mesure que davantage de résultats arrivent.

Consultez le récapitulatif de l’envoi gagnant ci-dessous pour voir les interactions avec la variante gagnante envoyée aux destinataires restants après la période de test.

Comment l’incrémentalité est calculée

Le pourcentage de gain est différent du pourcentage affiché pour votre variante gagnante. Cela s’explique par le fait que le pourcentage affiché à côté de chaque variante correspond au pourcentage de personnes qui ont interagi avec le message (ouverture, clic, commande passée), tandis que le gain correspond au pourcentage d’amélioration que la variante gagnante a obtenu par rapport à l’autre variante.

Par exemple, si vous utilisez le taux de clics comme indicateur de réussite et que la variante A a 5/100 (5 %) destinataires qui cliquent et la variante B a 4/100 (4 %) destinataires qui cliquent, la différence est de 1 point de pourcentage. Le lift compare cette différence au taux de clics de la variante B : (5 % − 4 %) / 4 % × 100 = 25 %. La variante A a donc un taux de clics de 5 % et un lift de 25 % par rapport à la variante B.

Résultats des variantes personnalisées

Si vous avez choisi Variantes personnalisées pour chaque destinataire, sélectionnez Résultats de la période de test une fois le test terminé pour voir les indicateurs suivants :

• Amélioration totale du test A/B
  L’amélioration estimée des variantes personnalisées par rapport à la deuxième meilleure variante dans un test A/B standard, basée sur l’indicateur gagnant (taux d’ouverture ou taux de clics).
• Personalization lift
  L’amélioration estimée des variantes personnalisées par rapport à l’envoi à tout le monde de la variante gagnante d’un test A/B standard.
• taux d’ouverture Personalization ou taux de clics Personalization
  Le taux d’ouverture ou le taux de clics estimé pour les variantes personnalisées, basé sur les destinataires de test qui ont reçu la variante que Klaviyo a prédit qu’ils préféreraient. L’indicateur affiché dépend de l’indicateur gagnant que vous avez sélectionné.
• Caractéristiques du profil déduites par Klaviyo AI
  Caractéristiques associées aux destinataires les plus susceptibles d’interagir avec une variante spécifique. Développez chaque variante pour voir ses caractéristiques, qui peuvent varier d’une variante à l’autre.

Consultez le récapitulatif des envois personnalisés pour les interactions avec les variantes personnalisées envoyées après la période de test.

Comprendre la probabilité de gain et la signification statistique

Par exemple, vous souhaitez voir si l’ajout d’emojis à votre objet a un impact sur votre taux d’ouverture avec votre liste d’e-mails. Si vous n’envoyez le test qu’à 2 abonnés et que les emojis ont un meilleur taux d’ouverture, vous ne pouvez pas conclure que le reste de votre liste d’e-mails réagira de la même manière. Si, au lieu de cela, vous faisiez un test avec 100 personnes dans votre liste d’e-mails et constatiez que les émojis ont un taux d’ouverture nettement plus élevé, vous auriez bien plus confiance dans le fait que l’utilisation d’émojis dans vos objets est meilleure pour votre audience.

Sous Probabilité de victoire, un test A/B standard terminé peut afficher un libellé de signification statistique. Un résultat est statistiquement significatif lorsque sa probabilité de victoire dépasse 90 % et que chaque variante compte plus de 50 livraisons d’e-mail réussies ou de tentatives de livraison de SMS. Un test peut également être prometteur, non concluant, ou non statistiquement significatif. Pour des résultats prometteurs, répétez le test afin de confirmer la conclusion. Les résultats non concluants n’affichent pas de libellé de significativité. En savoir plus sur la signification statistique dans Klaviyo.

Ressources supplémentaires