Förstå statistisk signifikans i Klaviyo-kampanjer

Du kommer att lära dig

Läs om hur du avgör om ett A/B-test anses vara statistiskt signifikant eller inte. Om till exempel en kampanjvariation A har en öppningsfrekvens på 15 % och variation B har en öppningsfrekvens på 14 %, hur kan du veta säkert om variation A eller B presterade bättre?

Obs! Apple Mail Privacy Protection

Med lanseringen av iOS15, macOS Monterey, iPadOS 15 och WatchOS 8 ändrade Apple Mail Privacy Protection (MPP) sättet som vi tar emot öppningsfrekvensdata på din e-post genom att förhämta vår spårningspixel. I och med denna förändring är det viktigt att förstå att öppningsfrekvensen kommer att överdrivas.

När det gäller A/B-testning förväntar vi oss att våra verktyg ska ta hänsyn till dessa uppblåsta öppningsfrekvenser. Du kan dock behöva en högre tröskel för att uppnå statistisk signifikans. Om du regelbundet genomför A/B-testning OCH har mer än ~45 % av öppningarna i Apple Mail föreslår vi att du skapar en anpassad rapport som inkluderar en MPP-egenskap. Du kan även identifiera dessa öppningar i dina enskilda prenumerantsegment.

För fullständig information om MPP-öppningar kan du besöka vår guide iOS 15: Så förbereder du dig för Apples ändringar.

Kategorier av statistisk signifikans

Statistisk signifikans innebär att Klaviyo matematiskt kan avgöra om en variation ger bättre resultat. För kampanjer observerar Klaviyo både antalet personer som fick ett meddelande och vinstsannolikheten, alltså hur sannolikt det är att en variation ger bättre resultat baserat på hur mycket den överträffar den eller de andra variationerna.

Vid A/B-testning bör du undvika alla faktorer som kan påverka din målgrupp avsevärt; till exempel bör du inte testa igen nära en helg med helgdag, när din målgrupp är mycket mer benägen att leta efter dina e-postmeddelanden.

När det gäller A/B-testning av kampanjer finns det fyra kategorier för statistisk signifikans:

• Statistiskt signifikant
• Lovande
• Inte statistiskt signifikant
• Ger inget tydligt resultat

I de följande avsnitten går vi igenom när ett test faller inom var och en av dessa kategorier.

Statistiskt signifikant

Den statistiskt signifikanta etiketten på ditt A/B-test innebär att en viss variation av ditt test med stor sannolikhet kommer att vinna över det eller de andra alternativet/-en. Det indikerar också att du kan reproducera resultaten och kan tillämpa det du har lärt dig på dina framtida utskick.

För Klaviyo-kampanjer anses ett A/B-testresultat vara statistiskt signifikant när:

• 50 personer har fått varje variation.
• Vinstsannolikheten är minst 90 %.

Detta säkerställer att ett tillräckligt stort urval av mottagare har sett A/B-testet och att den vinnande variation i stor utsträckning presterade bättre än den/de andra för det valda mättalet (som för kampanjer antingen är öppningsfrekvens, klickfrekvens (CR) eller placerad beställningsfrekvens).

Du kan till exempel testa om en emoji i ämnesraden påverkar öppningsfrekvensen. Testresultaten visar att den vinnande variationen är den med emojin, och det finns en grön etikett för statistisk signifikans. I det här fallet kan du vara säker på att en ämnesrad med en emoji konsekvent kommer att prestera bättre än en utan: och du behöver inte testa igen.

Du bör dock alltid använda ditt bästa omdöme när du agerar utifrån testresultaten. Om du till exempel skickar ett mer seriöst eller allvarsamt meddelande kanske en emoji inte är lämplig att använda.

Lovande

När resultaten är lovande ser det ut som att en variation presterar bättre än den eller de andra, men bevisen från testet i sig är inte tillräckligt starka. Om ett test bedöms som lovande visas ingen etikett som indikerar detta. Du ser dock en varning som säger att du bör köra om testet.

Om ett testresultat ser lovande ut bör du genomföra ett A/B-test till så att du får större säkerhet. Om vi går tillbaka till emoji-exemplet ovan: om resultaten ser lovande ut, genomför testet igen. Om du fortsätter att se lovande resultat till förmån för emojin efter flera A/B-tester kan du lita på att emojis har en liten men positiv påverkan på din målgrupp, och du bör fortsätta att använda dem i kampanjer.

För kampanjer anses ett A/B-testresultat vara lovande när:

• 50 personer har fått varje variation.
• Sannolikheten att vinna är mellan 75 % och 89 %.

Inte statistiskt signifikant

Om något inte är statistiskt signifikant slår en variation den eller de andra i testet bara med en liten marginal, och du kanske inte kan upprepa resultatet i ett ytterligare test.

I vårt exempel kan det här betyda att variationen med emojin slog variationen/variationerna utan emoji, men bara med en mycket liten marginal – inte tillräckligt för att testresultatet ska vara meningsfullt.

I det här fallet rekommenderar vi att du testar om den här faktorn 2 eller 3 gånger till och håller ett öga på resultaten.

Om du fortsätter att se att testresultatet bedöms som inte statistiskt signifikant ska du inte fortsätta att testa; gå i stället vidare till A/B-testning av ett annat ämne. Om ett test hamnar i den här kategorin visas en grå etikett med texten Not statistically significant på sidan med A/B-testresultat.

För kampanjer anses ett A/B-testresultat inte vara statistiskt signifikant när något av följande gäller:

• Sannolikheten är mindre än 75 % och minst 1 800 personer fick varje variation.
  Eller
• Färre än 1 800 har fått varje variation, procentskillnaden mellan den ledande variationen och variationen på andra plats är 4 % eller mindre, och vinstsannolikheten är mindre än 60 %.

Ger inget tydligt resultat

Om ett test är oavgjort innebär det att det inte finns tillräckligt med information för att avgöra om något är statistiskt signifikant. Om testresultaten inte matchar något av kriterierna för alternativen ovan hamnar det i kategorin oavgjort. Du kan visualisera detta med hjälp av beslutsträdet som visas i nästa avsnitt. Observera att oavgjorda tester inte visar en etikett som anger om testet var statistiskt signifikant på resultatsidan.

I det här fallet kanske du vill utöka din målgrupp för eventuella uppföljande tester. Om du testar med en liten grupp kan du tolka resultaten som du vill och testa igen för att kontrollera att det du har kommit fram till stämmer. Fokusera dessutom på att lära dig mer om dina prenumeranter på andra sätt, t.ex. genom enkäter, omröstningar osv.

Beslutsträd för statistisk signifikans

Följande beslutsträd visar när ett A/B-test hamnar i respektive kategori. De gröna linjerna visar att svaret är ”ja”, medan röda representerar ”nej.”

Ytterligare resurser