Vous apprendrez
Apprenez à déterminer si un test A/B est considéré comme statiquement significatif ou non. Par exemple, si la variante A d'une campagne a un taux d'ouverture de 15 % et la variante B un taux d'ouverture de 14 %, comment pouvez-vous savoir avec certitude si la variante A ou B a été plus performante ?
Avec la sortie d'iOS15, macOS Monterey, iPadOS 15 et WatchOS 8, Apple Mail Privacy Protection (MPP) a modifié la façon dont nous recevons les données sur le taux d'ouverture de vos e-mails en préfixant notre pixel de suivi. Avec ce changement, il est important de comprendre que les taux d'ouverture seront gonflés.
En ce qui concerne les tests A/B, nous pensons que nos outils devraient tenir compte de ces taux d'ouverture gonflés ; cependant, il se peut que vous ayez besoin d'un seuil plus élevé pour obtenir une signification statistique. Si vous effectuez régulièrement des tests A/B ET que vous avez plus de 45% d'ouvertures sur Apple Mail, nous vous suggérons de créer un rapport personnalisé qui inclut une propriété MPP. Vous pouvez également identifier ces ouvertures dans vos segments d'abonnés individuels.
Pour obtenir des informations complètes sur les ouvertures de MPP, consultez notre guide iOS 15 : Comment se préparer aux changements d'Apple.
Catégories de signification statistique
On parle de signification statistique lorsque Klaviyo est mathématiquement en mesure de déterminer si une variation permettra d'améliorer les performances. Pour les campagnes, Klaviyo observe à la fois le nombre de personnes ayant reçu un message et la probabilité de victoire, c'est-à-dire la probabilité qu'une variante produise de meilleurs résultats en fonction de sa supériorité sur les autres variantes.
Lors d'un test A/B, vous devez éviter tout facteur susceptible d'influencer votre public de manière significative; par exemple, ne procédez pas à un nouveau test à l'approche d'un week-end de vacances, au cours duquel votre public est beaucoup plus susceptible de rechercher vos e-mails.
En ce qui concerne les campagnes de tests A/B, il existe quatre catégories de signification statistique :
- Statistiquement significatif
- Prometteur
- Non statistiquement significatif
- Non concluant
Dans les prochaines sections, nous verrons quand un test entre dans chacune de ces catégories.
Vous n'avez pas le temps de lire ? commander l'arbre de décision au bas de cet article.
Statistiquement significatif
L'étiquette statistiquement significative de votre test A/B signifie qu'une certaine variante de votre test a de fortes chances de l'emporter sur l'autre (ou les autres) option(s). Il indique également que vous seriez en mesure de reproduire les résultats et d'appliquer ce que vous avez appris à vos futurs envois.
Pour les campagnes Klaviyo, un résultat de test A/B est considéré comme statistiquement significatif lorsque :
- 50 personnes ont reçu chaque variante
- La probabilité de gain est d'au moins 90 %.
Cela permet de s'assurer qu'un échantillon suffisamment important de destinataires a vu le test A/B et que la variante gagnante a largement surpassé l'autre ou les autres en ce qui concerne l'indicateur gagnant choisi (qui, pour les campagnes, est soit le taux d'ouverture, soit le taux de clics, soit le taux de commandes passées).
Par exemple, supposons que vous testiez si un emoji dans la ligne d'objet affecte ou non le taux d'ouverture. Les résultats du test montrent que la variante gagnante est celle avec l'emoji et qu'il y a une étiquette verte de signification statistique. Dans ce cas, vous pouvez être certain qu'une ligne d'objet contenant un emoji sera toujours plus performante qu'une ligne sans emoji - et il n'est pas nécessaire de refaire des tests.
Cependant, vous devez toujours faire preuve de discernement lorsque vous agissez sur la base des résultats du test. Si vous envoyez un message plus sérieux ou plus sombre, par exemple, l'utilisation d'un emoji n'est peut-être pas appropriée.
PrometteurPrometteur
Lorsque les résultats sont prometteurs, une variante semble plus performante que l'autre ou les autres, mais le test en lui-même n'apporte pas de preuves suffisantes. Si un test est jugé prometteur, aucune étiquette n'apparaîtra pour l'indiquer ; cependant, vous verrez une alerte indiquant que vous devez réexécuter le test.
Pour un résultat de test prometteur, vous devez effectuer un autre test A/B afin d'avoir plus de certitude. Par exemple, pour revenir à l'exemple de l'emoji ci-dessus, si les résultats sont prometteurs, réalisez ce test. Si vous continuez à voir des résultats prometteurs en faveur de l'emoji après plusieurs tests A/B, vous pouvez être sûr que les emojis ont un impact léger mais positif sur votre public, et vous devriez continuer à les utiliser dans vos campagnes.
Pour les campagnes, un résultat de test A/B est considéré comme prometteur lorsque
- 50 personnes ont reçu chaque variante
- La probabilité de gain est comprise entre 75 % et 89 %
Non statistiquement significatif
Si un résultat n'est pas statistiquement significatif, c'est qu'une variante ne l'emporte que de peu sur les autres dans le test, de sorte qu'il est possible que vous ne puissiez pas reproduire le résultat dans un autre test. Pour notre exemple, cela peut signifier que la variation avec l'emoji est supérieure à la (aux) variation(s) sans emoji, mais seulement de très peu - et pas suffisamment pour que le résultat du test soit significatif.
Dans ce cas, nous vous recommandons de tester à nouveau ce facteur deux ou trois fois et de surveiller de près les résultats. Si vous continuez à constater que le résultat du test n'est pas considéré comme statistiquement significatif, ne poursuivez pas le test ; passez plutôt à un test A/B sur un sujet différent. Si un test entre dans cette catégorie, une étiquette grise indiquant " Non statistiquement significatif " apparaîtra sur la page des résultats du test A/B.
Pour les campagnes, le résultat d'un test A/B est considéré comme statistiquement non significatif lorsque
- 1 800 personnes ont reçu chaque variante
- La différence de pourcentage entre la variation de tête et la variation de second rang est inférieure ou égale à 4 %.
- La probabilité de gain est inférieure à 60 %.
Non concluant
Si un test n'est pas concluant, cela signifie qu'il n'y a pas assez d'informations pour déterminer si un élément est statistiquement significatif ou non. Si les résultats du test ne correspondent à aucun des critères des options ci-dessus, ils seront classés dans la catégorie des résultats non concluants. Vous pouvez visualiser cela à l'aide de l'arbre de décision présenté dans la section suivante. Notez que les tests non concluants n'afficheront pas de balise indiquant si le test était statistiquement significatif ou non sur la page des résultats.
Dans ce cas, vous voudrez peut-être élargir votre public pour les tests de suivi. Si vous testez avec un petit groupe, interprétez les résultats comme vous l'entendez et refaites le test pour vérifier que ce que vous avez trouvé est exact. En outre, concentrez-vous sur la connaissance de vos abonnés par d'autres moyens, tels que les enquêtes, les sondages, etc.
Arbre de décision de la signification statistiqueArbre de décision de la signification statistique
L'arbre de décision suivant montre quand un test A/B entre dans chaque catégorie. Les lignes vertes indiquent que la réponse est "oui", tandis que les lignes rouges indiquent "non".
Ressources complémentaires
Pour en savoir plus sur les résultats des tests A/B, consultez cet article.
Consultez les meilleures pratiques en matière de tests A/B.
Découvrez comment effectuer des tests A/B sur vos e-mails :