Så granskar du resultaten för ditt A/B-test för kampanjer

Du kommer att lära dig

Läs om vilken data du kan hitta på resultatsidan för A/B-testning och vad var och en av dessa indikatorer betyder. Informationen i den här guiden gäller både A/B-testning av e-postkampanjer och sms-kampanjer.

Kampanjer med A/B-testning kan ge värdefulla insikter om din målgrupp genom att göra det enkelt att avgöra vilka ändringar du ska göra i din sändningsstrategi. Du får inte bara veta vilken variation som vinner i ett A/B-test, utan också andra viktiga faktorer, som vinstsannolikheten och detaljer om det vinnande mättalet.

A/B-testresultat

Så här ser du resultaten av ett A/B-test:

1. Navigera till kampanjen som du testar.
2. Välj fliken A/B-testresultat i kampanjrapportens huvudrapport.
   

Testöversikt

För ett standard-A/B-test visar avsnittet Testöversikt följande:

• Vinnande variation
  När ett test är klart är det den variation som har det högsta vinnande mättalet för resultaten du tittar på.
• Status
  Om A/B-testet pågår (dvs. samlar in analysdata) eller är slutfört.
• Sannolikhet att vinna
  Hur sannolikt det är att vinnarvariationen verkligen hade den högsta öppnings-, klick- eller beställningsfrekvensen när slumpen har tagits med i beräkningen, och om den här sannolikheten anses vara statistiskt signifikant.
• Ökning
  Hur mycket bättre den vinnande varianten presterade jämfört med den andra varianten. Beräknas baserat på det vinnande mättalet (dvs. öppningsfrekvens, klickfrekvens (CR) eller beställningsfrekvens). För tester med 3+ variationer används den näst bäst presterande testet för jämförelse.
• Vinnande mättal
  Den vinnande variationens resultat för det mättal som användes för testet. Om till exempel öppningsfrekvens valdes som vinnande mättal visas procentandelen för öppningsfrekvensen.

Under de här resultaten kan du granska varje variations öppningsfrekvens och klickfrekvens (CR) för e-post, eller klickfrekvens (CR) för sms. Tabellen visar också konverteringsresultat när ett mättal för konvertering är tillgängligt. Det är inte alltid Placed Order.

För ett slutfört standard-A/B-test med en testgrupp som är mindre än hela målgruppen använder du flikarna i Testöversikt för att jämföra:

• Resultat för testperioden visar interaktioner under testperioden från mottagare i testgruppen.
• Kontinuerliga resultat inkluderar senare interaktioner från samma testgrupp. Den ledande variation kan ändras när fler resultat kommer in.

Granska sammanfattningen för vinnande utskick nedan för interaktioner med den vinnande variationen som skickades till de återstående mottagarna efter testperioden.

Hur lift beräknas

Lift-procenten skiljer sig från procenten som visas för din vinnande variation. Det beror på att procenten som visas bredvid varje variation är andelen personer som interagerade med meddelandet (öppnade, klickade, lade en beställning), medan lift är procenten för den förbättring som vinnaren hade jämfört med den andra variationen.

Om du till exempel använder klickfrekvens (CR) som ditt vinnande mättal och variation A har 5/100 (5 %) mottagare som klickar och variation B har 4/100 (4 %) mottagare som klickar, är skillnaden 1 procentenhet. Lyft jämför den skillnaden med Variation B:s klickfrekvens (CR): (5 % − 4 %) / 4 % × 100 = 25 %. Variation A har därför en klickfrekvens (CR) på 5 % och ett lyft på 25 % jämfört med Variation B.

Resultat för personaliserade variationer

Om du valde Personanpassade variationer för varje mottagare väljer du Testperiodens resultat när testet är klart för att se följande mättal:

• Total A/B-testlyft
  Den uppskattade förbättringen från personaliserade variationer jämfört med den näst bästa variationen i ett standard-A/B-test, baserat på det vinnande mättalet (öppningsfrekvens eller klickfrekvens (CR)).
• Personaliseringseffekt
  Den uppskattade förbättringen från personaliserade variationer jämfört med att skicka den vinnande variationen från ett standard-A/B-test till alla.
• Öppningsfrekvens för personalisering eller klickfrekvens (CR) för personalisering
  Den uppskattade öppningsfrekvensen eller klickfrekvensen (CR) för personaliserade variationer, baserat på testmottagare som fick den variation som Klaviyo förutsåg att de skulle föredra. Mättalet som visas beror på vilket vinnande mättal du valde.
• Profilkaraktärsdrag framtagna av Klaviyo AI
  Karaktärsdrag som är kopplade till mottagare som var mer benägna att engagera sig i en specifik variation. Expandera varje variation för att se dess karaktärsdrag, som kan skilja sig mellan variationer.

Granska Sammanfattning av personliga utskick för interaktioner med de personliga variationerna som skickades efter testperioden.

Förstå vinstsannolikhet och statistisk signifikans

Säg till exempel att du vill se om det påverkar din öppningsfrekvens med din E-postlista om du lägger till emojis i din ämnesrad. Om du bara skickar testet till 2 prenumeranter och emojis har en bättre öppningsfrekvens kan du inte med säkerhet säga att resten av din E-postlista kommer att känna likadant. Om du i stället testade med 100 personer i din E-postlista och såg att emojis har en väsentligt högre öppningsfrekvens, skulle du känna dig mycket säkrare på att emojis i dina ämnesrader är bättre för din målgrupp.

Under Vinstsannolikhet kan ett slutfört standard-A/B-test visa en etikett för statistisk signifikans. Ett resultat är statistiskt signifikant när dess vinstsannolikhet är över 90 % och varje variation har fler än 50 lyckade e-postleveranser eller försökta sms-leveranser. Ett test kan också vara lovande, oavgjort eller inte statistiskt signifikant. För lovande resultat ska du upprepa testet för att bekräfta resultatet. Inga signifikansetetter visas för resultat som inte är entydiga. Läs mer om statistisk signifikans i Klaviyo.

Ytterligare resurser