Förstå statistisk signifikans i flöden
Lär dig när resultaten av ett A/B-test anses vara statistiskt signifikanta i Klaviyo-flöden. Den här artikeln förklarar statistisk signifikans för flöden och när den fastställs.
Statistisk signifikans innebär att Klaviyo matematiskt kan avgöra om en variation ger bättre resultat. Du kan konfigurera ett A/B-test för ett flöde så att det automatiskt väljer en vinnande variation när testresultaten anses vara statistiskt signifikanta.
A/B-testning är avgörande för att skapa bättre engagemang och förbättra dina kundrelationer med en datadriven metod. Det är viktigt att förstå om testet kan anses vara statistiskt signifikant eller inte. Om ett flödesmejl till exempel har 2 variationer och variation A har en klickfrekvens (CR) på 15 % medan variation B har en klickfrekvens (CR) på 14 %, hur vet du säkert om variation A eller B presterade bättre?
Så avgör Klaviyo statistisk signifikans i flöden
För flöden observerar Klaviyo både antalet personer som fick ett meddelande och vinstsannolikheten, det vill säga hur troligt det är att en variation ger bättre resultat baserat på hur väl den överträffar den eller de andra variationerna.
En variation av ett flödesmeddelande anses vara statistiskt signifikant när:
- Minst 500 mottagare har fått varje variation.
- En variation har minst 90 % sannolikhet att vinna.
- De främsta variationerna är tydligt separerade: vi visar bara statistisk signifikans när de sannolika prestandaintervallen för den ledande variationen och tvåan överlappar för lite (<10 % överlappning i trovärdighetsintervall)
Vinstsannolikheten beräknas baserat på det mättal du valde när du konfigurerade ditt A/B-test. Som standard är det här mättalet klickfrekvens (CR) för meddelandet du testar. I avsnittet Automatic Winner Selection kan du välja att automatiskt avsluta testet när en meddelandevariation bedöms vinna baserat på det konfigurerade mättalet, samt att avsluta testet när ett visst datum infaller. Du kan välja något av alternativen eller båda. Om båda är valda avslutas testet baserat på det som inträffar först: statistisk signifikans eller det angivna datumet.
Mer information finns i vår artikel om hur du A/B-testar ett flödesmejl.
När du visar resultaten för ett test som för närvarande körs eller är slutfört ser du vinstsannolikheten i avsnittet A/B-test. Här ser du om testresultaten är statistiskt signifikanta och vilken variation som sannolikt ger bäst resultat.
Mer information finns i vår artikel om hur du granskar resultaten från e-post-A/B-test för flöden.
Ytterligare resurser
- Bästa praxis för referens för A/B-testning
Lär dig bästa praxis för att använda Klaviyo's funktioner för A/B-testning för att optimera din kommunikation med kunder.
Läs mer om andra A/B-tester du kan köra:
- Så A/B-testar du ett flödesmejl
Lär dig hur du använder Klaviyos A/B-testning för att testa enskilda e-postmeddelanden i ett flöde, inklusive sådant som ämnesrad, rabatter och e-postinnehåll osv. Du kan till och med använda A/B-testning för att avgöra om e-postmeddelanden i oformaterad text fungerar bättre än bildtunga HTML-e-postmeddelanden.
- Så A/B-testar du en e-postkampanj
Läs om hur du konfigurerar och kör ett A/B-test för en kampanj, hur du läser testresultaten och några användningsfall för A/B-testning av kampanjer. Klaviyos A/B-testning funktioner för kampanjer gör att du enkelt kan testa olika ämnesrader, meddelandeinnehåll och sändningstid så att du bättre kan förstå vad som fungerar bäst för din målgrupp.
- Så A/B-testar du ett registreringsformulär
Lär dig hur du använder A/B-testning för att utvärdera prestandan för olika element i dina registreringsformulär. Genom att analysera resultaten effektivt kan du se till att dina formulär tilltalar webbplatsbesökare och bidrar till att listan växer.