Förstå statistisk signifikans i Klaviyo-kampanjer

Du kommer att lära dig

Lär dig hur du avgör om ett A/B-test är statistiskt signifikant. Om campaign variation A till exempel har en öppningsfrekvens på 15 % och variation B har en öppningsfrekvens på 14 %, hur vet du vilken variation som gav bäst resultat?

Obs! Apple Mail Privacy Protection

I och med lanseringen av iOS 15, macOS Monterey, iPadOS 15 och watchOS 8 förändrade Apple Mail Privacy Protection (MPP) hur vi tar emot data om öppningsfrekvens – genom att förhämta vår spårningspixel. I och med denna förändring är det viktigt att förstå att öppningsfrekvensen kommer att överdrivas.

MPP-öppningar inkluderas när ett A/B-test använder öppningsfrekvens som vinnande mättal. Statistisk signifikans fastställer inte att mottagarna avsiktligt öppnade e-postmeddelandet. Överväg klickfrekvens (CR) om MPP gör resultat för öppningsfrekvens svåra att tolka. För att förstå hur MPP påverkar din målgrupp kan du skapa en anpassad rapport som inkluderar en MPP-egenskap. Du kan också identifiera de här öppningarna i dina enskilda prenumerantsegment.

För fullständig information om MPP-öppningar kan du besöka vår guide iOS 15: Så förbereder du dig för Apples ändringar.

Kategorier av statistisk signifikans

Statistisk signifikans är ett starkt tecken på att en variation presterar bättre än de andra för ditt valda vinnande mättal. För kampanjer utvärderar Klaviyo både målgruppsstorlek och vinstsannolikhet: den uppskattade sannolikheten att en variation har den högsta nivån för det mättalet, baserat på testdata.

Vid A/B-testning bör du undvika alla faktorer som kan påverka din målgrupp avsevärt; till exempel bör du inte testa igen nära en helg med helgdag, när din målgrupp är mycket mer benägen att leta efter dina e-postmeddelanden.

När det gäller A/B-testning av kampanjer finns det 4 kategorier för statistisk signifikans:

• Statistiskt signifikant
• Lovande
• Inte statistiskt signifikant
• Ger inget tydligt resultat

För att granska dina resultat öppnar du kampanjrapporten och väljer A/B-testresultat. När testet är klart tittar du under Vinstsannolikhet. Om både Resultat för testperiod och Löpande resultat är tillgängliga väljer du Resultat för testperiod för att utvärdera de data som samlades in innan vinnaren valdes. Löpande resultat innehåller senare aktivitet från testmottagarna.

Statistiskt signifikant

Etiketten Statistiskt signifikant på ditt A/B-test innebär att en variation med stor sannolikhet kommer att prestera bättre än det eller de andra alternativen för det valda mättalet, baserat på testdata. Du kan använda det du har lärt dig för att styra framtida utskick, men resultatet garanterar inte samma utfall med en annan målgrupp, ett annat meddelande eller en annan sändningstid.

För Klaviyo-kampanjer anses ett A/B-testresultat vara statistiskt signifikant när:

• Varje variation har fler än 50 lyckade leveranser för e-post eller fler än 50 mottagare för sms.
• Sannolikheten att vinna är större än 90 %.

De här kriterierna kombinerar målgruppsstorlek med trygghet i resultatet för ditt valda vinnande mättal: öppningsfrekvens, klickfrekvens (CR) eller beställningsfrekvens för lagd beställning. Den visade vinstsannolikheten är avrundad, så använd resultatetiketten eller aviseringen när du tolkar ett värde nära en gräns.

Till exempel kan du testa om en emoji i ämnesraden påverkar öppningsfrekvensen. Resultaten visar att variation med emojin vann och har etiketten Statistiskt signifikant. Det stödjer att använda emojin i liknande utskick till den målgruppen, men det visar inte att emojis konsekvent kommer att förbättra öppningsfrekvensen i varje kampanj.

Du bör dock alltid använda ditt bästa omdöme när du agerar utifrån testresultaten. Om du till exempel skickar ett mer seriöst eller allvarsamt meddelande kanske en emoji inte är lämplig att använda.

Lovande

När resultaten är lovande verkar en variation prestera bättre än den/de andra, men testet i sig ger inte tillräckligt starka bevis. Lovande resultat har ingen signifkansetikett. För ett slutfört test rekommenderar en avisering att du upprepar testet. Om Test period results är tillgängligt, titta där efter den här aviseringen. Om en annan variation leder i Continuous results visas i stället en avisering om att vinnaren har ändrats.

Om du får ett lovande resultat kan du göra ett liknande A/B-test till för att kontrollera om resultatet håller. Om vi går tillbaka till emojiexemplet kan upprepade lovande resultat tyda på ett mönster, men de bekräftar inte i sig statistisk signifikans. Använd dem för att styra vidare testning i stället för att utgå från att emojis kommer att förbättra varje kampanj.

För kampanjer anses ett A/B-testresultat vara lovande när:

• Varje variation har fler än 50 lyckade leveranser för e-post eller fler än 50 mottagare för sms.
• Sannolikheten att vinna är större än 75 % och får inte överstiga 90 %.

Inte statistiskt signifikant

Ett resultat som inte är statistiskt signifikant innebär att testet inte ger tillräckligt starka bevis för att den ledande variation presterar bättre. En variation kan fortfarande väljas som vinnare även när resultatet inte är statistiskt signifikant.

I vårt exempel kan det här betyda att variationen med emojin slog variationen/variationerna utan emoji, men bara med en mycket liten marginal – inte tillräckligt för att testresultatet ska vara meningsfullt.

I det här fallet rekommenderar vi att du testar om den här faktorn 2 eller 3 gånger till och håller ett öga på resultaten.

Om du fortsätter att se att testresultatet bedöms vara inte statistiskt signifikant ska du inte fortsätta att testa; gå i stället vidare till A/B-testning av ett annat ämne. Om ett test hamnar i den här kategorin visas en etikett med Inte statistiskt signifikant på resultatsidan för A/B-testning.

För kampanjer måste varje variation ha fler än 50 lyckade leveranser för e-post, eller fler än 50 mottagare för sms, innan ett resultat kan klassificeras som inte statistiskt signifikant. När den här miniminivån har uppnåtts gäller något av följande villkor:

• Vinstsannolikheten är 75 % eller lägre och varje variation har fler än 1 800 lyckade leveranser för e-post, eller fler än 1 800 mottagare för sms.
• Vinstsannolikheten är under 60 %, och skillnaden i det vinnande mättalet mellan den ledande variationen och variationen på andra plats är mindre än 4 procentenheter.

Ger inget tydligt resultat

Om ett test är oavgjort finns det inte tillräckligt med information för att avgöra om en variation presterar bättre. Om någon variation har 50 eller färre lyckade leveranser för e-post, eller 50 eller färre mottagare för sms, är resultatet oavgjort oavsett sannolikheten att vinna. Resultat som inte uppfyller kriterierna för någon av de andra kategorierna är också oavgjorda. Du kan visualisera kategorierna med hjälp av beslutsträdet i nästa avsnitt. Oavgjorda tester visar ingen etikett för statistisk signifikans på resultatsidan.

I det här fallet kanske du vill utöka din målgrupp för eventuella uppföljande tester. Om du testar med en liten grupp kan du tolka resultaten som du vill och testa igen för att kontrollera att det du har kommit fram till stämmer. Fokusera dessutom på att lära dig mer om dina prenumeranter på andra sätt, t.ex. genom enkäter, omröstningar osv.

Beslutsträd för statistisk signifikans

Följande beslutsträd visar när ett A/B-test hamnar i respektive kategori. De gröna linjerna visar att svaret är ”ja”, medan röda representerar ”nej.”

Ytterligare resurser