Comprendre la signification statistique dans les flux
Découvrez quand les résultats d’un A/B testing sont considérés comme statistiquement significatifs dans les flux Klaviyo. Cet article expliquera la significativité statistique des flux et à quel moment elle est déterminée.
La signification statistique correspond au moment où Klaviyo est en mesure de déterminer mathématiquement si une variante produira de meilleures performances. Vous pouvez configurer un test A/B de flux pour choisir automatiquement une variante gagnante une fois que les résultats du test sont considérés comme statistiquement significatifs.
L’A/B testing est essentiel pour générer un meilleur engagement et améliorer vos relations clients grâce à une approche fondée sur les données. Il est important de comprendre si le test peut être considéré comme statistiquement significatif ou non. Par exemple, si un e-mail de flux comporte 2 variantes, et que la variante A a un taux de clics de 15 % tandis que la variante B a un taux de clics de 14 %, comment savez-vous avec certitude si la variante A ou B a eu de meilleurs résultats ?
Comment Klaviyo détermine la signification statistique dans les flux
Pour les flux, Klaviyo observe à la fois le nombre de personnes ayant reçu un message et la probabilité de gain, qui correspond à la probabilité qu’une variante génère de meilleurs résultats en fonction de sa performance par rapport à l’autre (ou aux autres) variante(s).
Une variante de message de flux est considérée comme statistiquement significative lorsque :
- Au moins 500 destinataires ont reçu chaque variante.
- Une variante a une probabilité de victoire d’au moins 90 %.
- Les variantes principales sont clairement séparées : nous n’affichons la significativité statistique que lorsque les plages de performance probables de la variante en tête et de sa dauphine se chevauchent trop peu (<10 % de chevauchement dans les intervalles de crédibilité)
La probabilité de gagner est calculée en fonction de l’indicateur que vous avez choisi lors de la configuration de votre test A/B. Par défaut, cet indicateur correspond au taux de clics du message que vous testez. Dans la section Sélection automatique du gagnant, vous avez la possibilité de mettre automatiquement fin au test une fois qu’une variante de message est déterminée comme gagnante en fonction de l’indicateur configuré, ainsi que la possibilité de mettre fin au test à une date spécifique. Vous pouvez sélectionner l’une ou l’autre de ces options, ou les deux. Si les deux sont sélectionnées, le test prendra fin en fonction de ce qui est atteint en premier, la significativité statistique ou la date spécifiée.
Pour en savoir plus, consultez notre article sur l’ A/B testing d’un e-mail de flux.
Lorsque vous consultez les résultats d’un test en cours ou terminé, vous verrez la probabilité de victoire dans la section Test A/B. Ici, vous verrez si les résultats du test sont statistiquement significatifs et quelle variante est susceptible d’être plus performante.
Pour plus de détails, consultez notre article sur l’ analyse des résultats d’un test A/B sur les e-mails d’un flux.