Comprendre la signification statistique dans les campagnes Klaviyo

Objectif de cet article

Découvrez comment déterminer si un test A/B est considéré comme statistiquement significatif ou non. Par exemple, si la variante A d’une campagne a un taux d’ouverture de 15 % et que la variante B a un taux d’ouverture de 14 %, comment savoir avec certitude si la variante A ou B a obtenu de meilleurs résultats ?

Remarque sur la protection de la confidentialité d’Apple Mail

Avec la sortie d’iOS15, macOS Monterey, iPadOS 15 et WatchOS 8, Apple Mail Privacy Protection (MPP) a modifié la façon dont nous recevons les données sur le taux d’ouverture de vos e-mails, car le pixel de suivi est maintenant pré-chargé. Cela implique mathématiquement que les taux d’ouverture sont surévalués.

En ce qui concerne les tests A/B, nous pensons que nos outils devraient tenir compte de ce mécanisme. Cependant, il est possible que vous ayez besoin d’un seuil plus élevé pour obtenir une valeur statistiquement significative. Si vous effectuez régulièrement des tests A/B et que vous avez plus de 45 % d’ouvertures sur Apple Mail, nous vous suggérons de créer un rapport personnalisé qui inclut une propriété MPP. Vous pouvez également identifier ces ouvertures dans vos segments d’abonnés individuels.

Pour plus d’informations complètes sur ce système, consultez notre guide iOS 15: How to Prepare for Apple’s Changes (article de blog en anglais).

Catégories de signification statistique

La signification statistique correspond au moment où Klaviyo est en mesure de déterminer mathématiquement si une variante produira de meilleures performances. Pour les campagnes, Klaviyo observe à la fois le nombre de personnes qui ont reçu un message et la probabilité de gain, c’est-à-dire la probabilité qu’une variante génère de meilleurs résultats en fonction de son niveau de performance par rapport à l’autre ou aux autres variante(s).

Lors d’un test A/B, vous devez éviter tout facteur susceptible d’influencer votre public de manière significative; par exemple, ne procédez pas à un nouveau test à l’approche d’un week-end de vacances, au cours duquel votre public est beaucoup plus susceptible de rechercher vos e-mails.

En matière d’A/B testing de campagnes, il existe quatre catégories pour la signification statistique :

• Statistiquement significatif
• Prometteur
• Statistiquement non significatif
• Non concluant

Dans les prochaines sections, nous passerons en revue quand un test relève de chacune de ces catégories.

Statistiquement significatif

Le tag de signification statistique sur votre test A/B signifie qu’une certaine variante de votre test a de fortes chances de l’emporter sur l’autre ou les autres option(s). Cela indique également que vous seriez en mesure de reproduire les résultats et que vous pourriez appliquer ce que vous avez appris à vos envois futurs.

Pour les campagnes Klaviyo, un résultat de test A/B est considéré comme statistiquement significatif lorsque :

• 50 personnes ont reçu chaque variante.
• La probabilité de gain est d’au moins 90 %.

Cela garantit qu’un échantillon suffisamment important de destinataires a vu le test A/B, et que la variante gagnante a largement surpassé l’autre (ou les autres) selon l’indicateur gagnant choisi (qui, pour les campagnes, est soit le taux d’ouverture, le taux de clics ou le taux de commande).

Par exemple, imaginez que vous testiez si un emoji dans l’objet affecte ou non le taux d’ouverture. Les résultats du test montrent que la variante gagnante est celle avec l’emoji, et il y a un tag de signification statistique vert. Dans ce cas, vous pouvez être sûr qu’un objet avec un emoji sera systématiquement plus performant qu’un objet sans emoji : et il n’est pas nécessaire de retester.

Cependant, vous devez toujours faire preuve de discernement lorsque vous agissez en fonction des résultats du test. Si vous envoyez un message plus sérieux ou plus solennel, par exemple, il pourrait ne pas être approprié d’utiliser un emoji.

Prometteur

Lorsque les résultats sont prometteurs, une variante semble être plus performante que l’autre (ou les autres), mais les preuves issues du test seul ne sont pas suffisamment solides. Si un test est jugé prometteur, aucun tag n’apparaîtra pour l’indiquer ; toutefois, vous verrez une alerte indiquant que vous devez relancer le test.

Pour un résultat de test prometteur, vous devriez effectuer un autre test A/B afin d’être plus certain. Par exemple, pour revenir à l’exemple d’émoji ci-dessus, si les résultats sont prometteurs, effectuez ce test à nouveau. Si vous continuez à observer des résultats prometteurs en faveur de l’émoji après plusieurs tests A/B, vous pouvez avoir confiance dans le fait que les emojis ont un impact léger mais positif sur votre audience, et vous devriez continuer à les utiliser dans vos campagnes.

Pour les campagnes, un résultat de test A/B est considéré comme prometteur lorsque :

• 50 personnes ont reçu chaque variante.
• La probabilité de gain est comprise entre 75 % et 89 %.

Statistiquement non significatif

Si quelque chose n’est pas statistiquement significatif, une variante ne surpasse les autres dans le test que de très peu et il se peut que vous ne puissiez pas reproduire le résultat dans un test ultérieur.

Dans notre exemple, cela peut signifier que la variante avec l’emoji a battu la ou les variantes sans emoji, mais seulement d’une très faible marge ; pas suffisamment pour que le résultat du test soit significatif.

Dans ce cas, nous vous recommandons de retester ce facteur 2 ou 3 fois de plus et de surveiller de près les résultats.

Si vous continuez à constater que le résultat du test est jugé non statistiquement significatif, ne continuez pas à tester ; passez plutôt à l’A/B testing sur un autre sujet. Si un test appartient à cette catégorie, un tag gris indiquant Non statistiquement significatif apparaîtra sur la page des résultats de l’A/B testing.

Pour les campagnes, un résultat de test A/B est considéré comme non statistiquement significatif lorsque l’un des éléments suivants est vrai :

• La probabilité est inférieure à 75 % et au moins 1 800 personnes ont reçu chaque variante.
  Ou
• Moins de 1 800 personnes ont reçu chaque variante, l’écart en pourcentage entre la variante en tête et la variante en deuxième position est de 4 % ou moins, et la probabilité de victoire est inférieure à 60 %.

Non concluant

Si un test n’est pas concluant, cela signifie qu’il n’y a pas suffisamment d’informations pour déterminer si quelque chose est statistiquement significatif ou non. Si les résultats du test ne correspondent à aucun des critères des options ci-dessus, ils seront classés dans la catégorie des tests non concluants. Vous pouvez visualiser cela à l’aide de l’arbre de décision présenté dans la section suivante. Notez que les tests non concluants n’afficheront pas de tag indiquant si le test était statistiquement significatif ou non sur la page des résultats.

Dans ce cas, vous pouvez vouloir élargir votre audience pour d’éventuels tests de suivi. Si vous testez avec un petit groupe, interprétez les résultats comme vous le souhaitez et refaites un test pour vérifier que ce que vous avez trouvé est exact. De plus, concentrez-vous sur l’apprentissage d’informations sur vos abonnés par d’autres moyens (par exemple, des enquêtes, des sondages, etc.).

Arbre de décision de la significativité statistique

L’arbre de décision suivant montre quand un test A/B sera classé dans chaque catégorie. Les lignes vertes indiquent que la réponse est « oui », tandis que les lignes rouges représentent « non ».

Ressources supplémentaires