Inzicht in statistische significantie in flows

Leer wanneer de resultaten van een A/B-test in Klaviyo-flows als statistisch significant worden beschouwd. In dit artikel wordt statistische significantie voor flows uitgelegd en wanneer die wordt bepaald.

Statistische significantie is wanneer Klaviyo wiskundig kan bepalen of een variatie betere prestaties zal opleveren. Je kunt een A/B-test voor een flow configureren om automatisch een winnende variatie te kiezen zodra de testresultaten statistisch significant worden geacht.

A/B-test is essentieel om meer betrokkenheid te stimuleren en je klantrelaties te verbeteren met een datagedreven aanpak. Het is belangrijk om te begrijpen of de test als statistisch significant kan worden beschouwd of niet. Als een flow-e-mail bijvoorbeeld 2 variaties heeft en variatie A een klikpercentage (CR) van 15% heeft terwijl variatie B een klikpercentage (CR) van 14% heeft, hoe weet je dan zeker of variatie A of B beter presteerde?

Hoe Klaviyo statistische significantie in flows bepaalt

Voor flows bekijkt Klaviyo zowel het aantal mensen dat een bericht heeft ontvangen als de winkans. Dat is hoe waarschijnlijk het is dat een variatie betere resultaten oplevert, op basis van hoe goed deze de andere variatie(s) overtreft.

Een flowberichtvariatie wordt als statistisch significant beschouwd wanneer:

• Minstens 500 ontvangers hebben elke variatie ontvangen.
• Een variatie heeft een winkans van minimaal 90%.
• De belangrijkste variaties zijn duidelijk gescheiden: we tonen alleen statistische significantie wanneer de waarschijnlijke prestatiebereiken van de leidende variatie en de nummer twee te weinig overlap hebben (<10% overlap in credible intervals)

De winkans wordt berekend op basis van de meetwaarde die je hebt gekozen bij het configureren van je A/B-test. Standaard is deze meetwaarde het klikpercentage (CR) van het bericht dat je test. In de sectie Automatische winnaarskeuze heb je de optie om de test automatisch te beëindigen zodra is vastgesteld dat een berichtvariatie wint op basis van de geconfigureerde meetwaarde, en ook de optie om de test te beëindigen zodra een specifieke datum is bereikt. Je kunt een of beide van deze opties selecteren. Als beide zijn geselecteerd, wordt de test beëindigd op basis van wat het eerst wordt bereikt: statistische significantie of de opgegeven datum.

Bekijk voor meer informatie ons artikel over hoe je een flow-e-mail A/B-test.

Wanneer je de resultaten bekijkt van een momenteel lopende of voltooide test, zie je de winkans in het gedeelte A/B-test. Hier zie je of de testresultaten statistisch significant zijn en welke variatie waarschijnlijk beter presteert.

Bekijk voor meer details ons artikel over hoe je e-mail-A/B-testresultaten voor flow kunt bekijken.