Comprendre la signification statistique dans les campagnes Klaviyo

Objectif de cet article

Découvrez comment déterminer si un test A/B est statistiquement significatif. Par exemple, si la variante A d’une campagne affiche un taux d’ouverture de 15 % et que la variante B affiche un taux d’ouverture de 14 %, comment savez-vous quelle variante a obtenu de meilleurs résultats ?

Remarque sur la protection de la confidentialité d’Apple Mail

Avec la sortie d’iOS15, macOS Monterey, iPadOS 15 et WatchOS 8, Apple Mail Privacy Protection (MPP) a modifié la façon dont nous recevons les données sur le taux d’ouverture de vos e-mails, car le pixel de suivi est maintenant pré-chargé. Cela implique mathématiquement que les taux d’ouverture sont surévalués.

Les ouvertures MPP sont incluses lorsqu’un test A/B utilise le taux d’ouverture comme indicateur gagnant. La signification statistique n’établit pas que les destinataires ont intentionnellement ouvert l’e-mail. Envisagez le taux de clics si MPP rend les résultats du taux d’ouverture difficiles à interpréter. Pour comprendre comment MPP affecte votre audience, créez un rapport personnalisé qui inclut le paramètre MPP. Vous pouvez également identifier ces ouvertures dans vos segments d’abonnés individuels.

Pour plus d’informations complètes sur ce système, consultez notre guide iOS 15: How to Prepare for Apple’s Changes (article de blog en anglais).

Catégories de signification statistique

La significativité statistique indique qu’il existe des preuves solides qu’une variante est plus performante que les autres pour l’indicateur gagnant que vous avez choisi. Pour les campagnes, Klaviyo évalue à la fois la taille de l’audience et la probabilité de victoire : l’estimation de la probabilité qu’une variante ait le taux le plus élevé pour cet indicateur, sur la base des données du test.

Lors d’un test A/B, vous devez éviter tout facteur susceptible d’influencer votre public de manière significative; par exemple, ne procédez pas à un nouveau test à l’approche d’un week-end de vacances, au cours duquel votre public est beaucoup plus susceptible de rechercher vos e-mails.

En matière de campagnes d’A/B testing, il existe 4 catégories de signification statistique :

• Statistiquement significatif
• Prometteur
• Statistiquement non significatif
• Non concluant

Pour consulter vos résultats, ouvrez le rapport de la campagne, puis sélectionnez Résultats du test A/B. Une fois le test terminé, consultez la section Probabilité de gagner. Si les Résultats de la période de test et les Résultats continus sont disponibles, sélectionnez Résultats de la période de test pour évaluer les données collectées avant que le gagnant ne soit sélectionné. Les Résultats continus incluent l’activité ultérieure des destinataires du test.

Statistiquement significatif

Le libellé Statistiquement significatif sur votre test A/B signifie qu’une variante est très susceptible de surpasser l’autre option (ou les autres options) pour l’indicateur choisi, sur la base des données du test. Vous pouvez utiliser ce que vous avez appris pour guider vos futurs envois, mais le résultat ne garantit pas le même résultat avec une audience, un message, ou un horaire d’envoi différent.

Pour les campagnes Klaviyo, un résultat de test A/B est considéré comme statistiquement significatif lorsque :

• Chaque variante a plus de 50 distributions réussies pour l’e-mail, ou plus de 50 destinataires pour les SMS.
• La probabilité de gain est supérieure à 90 %.

Ces critères combinent la taille de l’audience et la confiance dans le résultat pour l’indicateur gagnant que vous avez choisi : taux d’ouverture, taux de clics, ou taux de commande passée. La probabilité de gain affichée est arrondie ; utilisez donc l’étiquette de résultat ou l’alerte lorsque vous interprétez une valeur proche d’un seuil.

Par exemple, imaginons que vous testiez si un emoji dans l’objet a un impact sur le taux d’ouverture. Les résultats montrent que la variante avec l’emoji a gagné, et qu’elle porte l’étiquette Statistiquement significatif. Cela permet d’utiliser l’emoji dans des envois similaires à cette audience, mais cela n’établit pas que les emojis amélioreront systématiquement les taux d’ouverture dans chaque campagne.

Cependant, vous devez toujours faire preuve de discernement lorsque vous agissez en fonction des résultats du test. Si vous envoyez un message plus sérieux ou plus solennel, par exemple, il pourrait ne pas être approprié d’utiliser un emoji.

Prometteur

Lorsque les résultats sont prometteurs, une variante semble avoir de meilleures performances que l’autre (ou les autres), mais les preuves issues du test à elles seules ne sont pas suffisamment solides. Les résultats prometteurs n’ont pas de libellé de significativité. Pour un test terminé, une alerte recommande de répéter le test. Si Résultats de la période de test est disponible, consultez cette section pour voir cette alerte. Si une autre variante est en tête dans Résultats en continu, une alerte concernant le changement de gagnant s’affiche à la place.

Pour obtenir un résultat prometteur, effectuez un autre test A/B similaire afin de vérifier si le résultat se confirme. Pour revenir à l’exemple des emojis, des résultats prometteurs répétés peuvent suggérer une tendance, mais ils ne confirment pas à eux seuls la significativité statistique. Utilisez-les pour orienter les prochains tests plutôt que de supposer que les emojis amélioreront chaque campagne.

Pour les campagnes, un résultat de test A/B est considéré comme prometteur lorsque :

• Chaque variante a plus de 50 distributions réussies pour l’e-mail, ou plus de 50 destinataires pour les SMS.
• La probabilité de gain est supérieure à 75 % et ne doit pas dépasser 90 %.

Statistiquement non significatif

Un résultat non statistiquement significatif signifie que le test ne fournit pas de preuves suffisamment solides que la variante principale est plus performante. Une variante peut tout de même être sélectionnée comme gagnante même lorsque le résultat n’est pas statistiquement significatif.

Dans notre exemple, cela peut signifier que la variante avec l’emoji a battu la ou les variantes sans emoji, mais seulement d’une très faible marge ; pas suffisamment pour que le résultat du test soit significatif.

Dans ce cas, nous vous recommandons de retester ce facteur 2 ou 3 fois de plus et de surveiller de près les résultats.

Si vous continuez à constater que le résultat du test est jugé non statistiquement significatif, ne continuez pas à tester ; passez plutôt à un A/B testing sur un autre sujet. Si un test entre dans cette catégorie, une étiquette Non statistiquement significatif apparaîtra sur la page des résultats du test A/B.

Pour les campagnes, chaque variante doit comptabiliser plus de 50 distributions réussies pour l’e-mail, ou plus de 50 destinataires pour les SMS, avant qu’un résultat puisse être classé comme non statistiquement significatif. Une fois ce minimum atteint, l’une ou l’autre de ces conditions s’applique :

• La probabilité de réussite est de 75 % ou moins, et chaque variante compte plus de 1800 livraisons réussies pour l’e-mail, ou plus de 1800 destinataires pour les SMS.
• La probabilité de gain est inférieure à 60 %, et la différence de l’indicateur de gain entre les variantes en tête et à la deuxième place est inférieure à 4 points de pourcentage.

Non concluant

Si un test n’est pas concluant, les informations ne sont pas suffisantes pour déterminer si une variante est plus performante. Si une variante compte 50 distributions réussies ou moins pour l’e-mail, ou 50 destinataires ou moins pour les SMS, le résultat n’est pas concluant, quelle que soit la probabilité de victoire. Les résultats qui ne répondent aux critères d’aucune des autres catégories ne sont pas concluants non plus. Vous pouvez visualiser les catégories à l’aide de l’arbre de décision dans la section suivante. Les tests non concluants n’affichent pas d’étiquette de significativité statistique sur la page des résultats.

Dans ce cas, vous pouvez envisager d’élargir votre audience pour tout test de suivi. Si vous testez sur un petit groupe, interprétez les résultats comme vous l’entendez et effectuez un nouveau test pour vérifier que ce que vous avez constaté est exact. En outre, concentrez-vous sur la compréhension de vos abonnés par d’autres moyens ; par exemple, des enquêtes, des sondages, etc.

Arbre de décision de la significativité statistique

L’arbre de décision suivant montre quand un test A/B sera classé dans chaque catégorie. Les lignes vertes indiquent que la réponse est « oui », tandis que les lignes rouges représentent « non ».

Ressources supplémentaires