Förstå statistisk signifikans i Klaviyo-kampanjer

Du kommer att lära dig

Lär dig hur du kan avgöra om ett A/B-test anses vara statiskt signifikant eller inte. Till exempel, om en kampanj variation A har en öppningsfrekvens på 15% och variation B har en öppningsfrekvens på 14%, hur kan du veta säkert om variation A eller B presterade bättre?

Anmärkning om Apple Mail Privacy Protection

Med lanseringen av iOS15, macOS Monterey, iPadOS 15 och WatchOS 8 ändrade Apple Mail Privacy Protection (MPP) sättet som vi tar emot öppningsfrekvensdata på din e-post genom att förhämta vår spårningspixel. I och med denna förändring är det viktigt att förstå att öppningsfrekvensen kommer att överdrivas.

När det gäller A/B-testning förväntar vi oss att våra verktyg ska kunna hantera dessa uppblåsta öppningsfrekvenser, men du kan behöva ett högre tröskelvärde för att uppnå statistisk signifikans. Om du regelbundet utför A/B-testning OCH har mer än ~45% av öppningar på Apple Mail, föreslår vi att du skapar en anpassad rapport som innehåller en MPP-egenskap. Du kan också identifiera dessa öppningar i ditt individuella prenumerantsegment.

För fullständig information om MPP-öppningar kan du besöka vår guide iOS 15: Så förbereder du dig för Apples ändringar.

Kategorier av statistisk signifikans

Statistisk signifikans är när Klaviyo matematiskt kan avgöra om en variation kommer att leda till förbättrad prestanda. För kampanjer observerar Klaviyo både antalet personer som fått ett meddelande och vinstsannolikheten, dvs. hur sannolikt det är att en variation kommer att ge bättre resultat baserat på hur väl den överträffar den andra variation(s).

När du A/B-testar bör du undvika alla faktorer som kan påverka din målgrupp avsevärt; testa till exempel inte på nytt nära en helg, då det är mycket mer sannolikt att din målgrupp letar efter din e-post. 

När det gäller A/B-testning kampanjer finns det fyra kategorier för statistisk signifikans:

• Statistiskt signifikant
• Lovande
• Inte statistiskt signifikant
• Ger inget tydligt resultat

I de kommande avsnitten kommer vi att gå igenom när ett test faller inom var och en av dessa kategorier.

Statistiskt signifikant

Den statistiskt signifikanta etiketten på ditt A/B-test innebär att ett visst variation av ditt test med stor sannolikhet kommer att vinna över det andra alternativet (alternativen). Det indikerar också att du skulle kunna reproducera resultaten och kunna tillämpa det du lärt dig på dina framtida sändningar.

För Klaviyo-kampanjer anses ett A/B-testresultat vara statistiskt signifikant när:

• 50 personer har fått varje variation.
• Vinstsannolikheten är minst 90%.

Detta säkerställer att ett tillräckligt stort urval av mottagare har sett A/B-testet och att den vinnande variation till stor del överträffade de andra för den valda vinnande mättalen (som för kampanjer är antingen öppningsfrekvens, klickfrekvens eller placerad beställningsfrekvens).

Låt oss till exempel säga att du testar om en emoji i ämnesraden påverkar öppningsfrekvensen eller inte. Testresultaten visar att den vinnande variation är den med emojin och det finns en grön etikett för statistisk signifikans. I det här fallet kan du vara säker på att en ämnesrad med en emoji konsekvent kommer att prestera bättre än en utan: och det finns inget behov av omtestning.

Du bör dock alltid använda ditt bästa omdöme när du agerar utifrån testresultaten. Om du till exempel skickar ett mer allvarligt eller dystert meddelande kanske det inte är lämpligt att använda en emoji.

Lovande

När resultaten är lovande ser det ut som om en variation presterar bättre än de andra, men bevisen är inte tillräckligt starka från testet i sig. Om ett test bedöms som lovande visas ingen etikett som anger detta, men du kommer att se en varning som anger att du bör köra testet igen.

För ett testresultat som är lovande bör du utföra ett nytt A/B-test så att du får mer säkerhet. Om resultaten till exempel är lovande, och vi går tillbaka till emoji-exemplet ovan, kan du utföra testet igen. Om du fortsätter att se lovande resultat till förmån för emojin efter flera A/B-tester kan du lita på att emojis har en liten men positiv inverkan på din publik, och du bör fortsätta att använda dem i kampanjer.

För kampanjer anses ett resultat från ett A/B-test vara lovande när:

• 50 personer har fått varje variation.
• Vinstsannolikheten är mellan 75% och 89%.

Inte statistiskt signifikant

Om något inte är statistiskt signifikant slår en variation den andra (de andra) i testet med endast en liten mängd och du kanske inte kan upprepa resultatet i ett ytterligare test.

I vårt exempel kan detta innebära att variation med emoji slog variation(s) utan emoji, men bara med en mycket liten marginal; inte tillräckligt för att testresultatet ska vara meningsfullt.

I så fall rekommenderar vi att du testar denna faktor ytterligare 2 eller 3 gånger och håller ett öga på resultaten.

Om du fortsätter att se att testresultatet inte anses vara statistiskt signifikant ska du inte fortsätta att testa, utan istället gå vidare till A/B-testning av ett annat ämne. Om ett test faller inom denna kategori visas en grå etikett med texten Inte statistiskt signifikant på resultatsidan för A/B-testet.

För kampanjer anses ett resultat av ett A/B-test inte vara statistiskt signifikant om det antingen:

• Sannolikheten är mindre än 75% och minst 1 800 personer fick varje variation.
  Eller
• Färre än 1.800 har fått varje variation, den procentuella skillnaden mellan ledande variation och andra plats variation är 4% eller mindre, och vinstsannolikheten är mindre än 60%.

Ger inget tydligt resultat

Om ett test inte är konklusivt betyder det att det inte finns tillräckligt med information för att avgöra om något är statistiskt signifikant eller inte. Om testresultaten inte stämmer överens med något av kriterierna för alternativen ovan hamnar det i kategorin oklara resultat. Du kan visualisera detta med hjälp av det beslutsträd som visas i nästa avsnitt. Observera att ofullständiga tester inte visar en etikett som anger om testet var statistiskt signifikant eller inte på resultatsidan.

I så fall kanske du vill utöka målgruppen för eventuella uppföljande tester. Om du har en liten grupp som du testar med kan du tolka resultaten som du vill och göra om testet för att kontrollera att det du har kommit fram till är korrekt. Fokusera dessutom på att lära dig mer om din prenumerant på andra sätt, t.ex. genom undersökningar, enkäter etc.

Beslutsträd för statistisk signifikans

Följande beslutsträd visar när ett A/B-test faller inom respektive kategori. De gröna linjerna indikerar att svaret är "ja" medan rött representerar "nej".

Ytterligare resurser

Läs mer om resultat av A/B-testning i den här artikeln. 

kassa bästa praxis för A/B-testning. 

Se hur du A/B-testar din e-post: 

• Så här A/B-testar du en individuell flöde-post
• Hur man A/B-testar en kampanj e-post