Komma igång med globala holdout-grupper
Du kommer att lära dig
Lär dig hur du använder globala holdout-grupper för att förstå effekten och effektiviteten av din marknadsföring. Globala holdout-grupper gör det möjligt att exkludera ett antal profiler från dina meddelanden för att fastställa den inkrementella framgången för ditt marknadsföringsprogram. Dessa holdout-grupper gör att du kan jämföra och sedan analysera basvärdet för dina marknadsföringsprogram, samt hitta sätt att kontinuerligt optimera dessa strategier.
Innan du börjar
Du måste ha minst 400 000 profiler (observera att det här är det totala antalet profiler) för att kvalificera dig för holdout-grupper. Detta säkerställer att Klaviyo har tillräckligt med profildata för att jämföra holdout-gruppen med dina andra profiler som får marknadsföring. Vi rekommenderar dessutom att du kör holdout-grupper i 3 månader för att samla in tillräckligt med data.
Läs mer om när du ska eller inte ska använda holdout-grupper.
Använd holdout-grupper på rätt sätt
Så här använder du holdout-grupper
Holdout-grupper bör användas när du vill testa effektiviteten i dina marknadsföringsprogram och eventuellt även ändringar som du gör i dessa strategier. Holdout-grupper är användbara eftersom de ger en tydlig jämförelse som visar vilken påverkan dina marknadsföringsstrategier har, eftersom de inte får någon kommunikation från dig.
Om du till exempel vill skapa en baseline kan du överväga att använda holdout-grupper om du vill fastställa:
- Det tydliga värdet och effekten av ditt övergripande marknadsföringsprogram i förhållande till kostnaderna.
- När du gör ändringar i ditt marknadsföringsprogram (t.ex. lägger till en ny kanal), värdet som är kopplat till dessa stegvisa ändringar.
- Om vissa marknadsföringsaktiviteter faktiskt är skadliga och ger negativa resultat och behöver justeras (t.ex. för många flöden vid fel tidpunkter för kunder).
Ytterligare faktorer att tänka på för holdout-grupper
Det är viktigt att tänka på tajmingen och tillämpningen av när du kan använda holdout-grupper.
Eftersom de som ingår i en holdout-grupp inte får några e-postmeddelanden, sms eller pushnotiser som skickas via kampanjer eller flöden, bör du ta hänsyn till följande faktorer:
- Du kan bara ha en aktiv holdout-grupp åt gången att använda för jämförelse med dina marknadsföringsprogram.
- En holdout-grupp gäller för alla kanaler som används i en kampanj eller ett flöde; den kan inte slås på för en specifik kanal jämfört med en annan.
- En holdout-grupp stör inte andra viktiga säsongsbetonade e-handelsevenemang eller tider på året (t.ex. Black Friday Cyber Monday).
- Vilka meddelanden som dessa, även i holdout-grupper, alltid ska få. Läs mer om att åsidosätta meddelanden.
Holdout-grupper jämfört med A/B-testning
Holdout-grupper skiljer sig till sin natur från A/B-testning och de två funktionerna ska inte blandas ihop. Holdout-grupper gör att du kan förstå effekten av din marknadskommunikation genom att inte skicka något till en grupp personer. A/B-testning gör det däremot möjligt att jämföra 2 eller fler versioner av din marknadskommunikation. Du kan till exempel jämföra 2 versioner av en e-postkampanj.
Skapa en holdout-grupp
- För att skapa en holdout-grupp går du till Analys > Experiment och klickar på fliken Globala experiment.
Observera att om du inte kan komma åt den här sidan har du inte de 400 000+ profiler som krävs för att kvalificera dig. Dessutom är det bara ägare, administratörer och chefer som kan skapa holdout-grupper.
2. Klicka på Skapa test.
Du kommer sedan att guidas genom en serie steg för att konfigurera och anpassa din holdout-grupp.
3. Använd fältet till vänster för att ange ett tal som representerar den procentandel av säljbara profiler som du vill lägga i din holdout-grupp. När du uppdaterar din procentandel i fältet uppdateras det numeriska värdet för det totala antalet till höger. Använd endast siffror (med upp till 2 decimaler) i det här fältet.
Vi rekommenderar att du använder cirka 5 % av dina totala marknadsförbara profiler för att skapa en holdout-grupp. När du har valt din procentandel för holdout-grupp kan den inte ändras efter att du har slutfört denna inställningsprocess och den är aktiv. Det är dock viktigt att notera att din holdout-grupp kommer att växa i takt med att ditt företag och din prenumerantlista växer, så att den överensstämmer med den procentandel du ursprungligen satte upp.
4. När du är nöjd med din procentsats klickar du på Fortsätt.
5. Som standard startar din holdout-grupp på dagens datum, men du kan välja ditt slutdatum. Klicka i fältet Välj datum för att öppna kalenderwidgeten. Klicka sedan på ett datum i kalendern för att välja ditt slutdatum.
Vi rekommenderar att du har en holdout-grupp igång i 3 månader för att samla in tillräckligt med data.
Du kan också se till att vissa flöden som anses nödvändiga fortfarande tas emot av profiler i din holdout-grupp. Det gör du genom att åsidosätta reglerna för holdout-gruppen för vissa flöden. Många välkomstflöden kan till exempel vara så viktiga att de fortfarande bör tas emot av dina holdout-kunder och därför åsidosättas.
Det här nästa steget är valfritt och det krävs inte för att åsidosätta vissa flöden. Vi rekommenderar dock att du funderar över vilka meddelanden som är viktiga för din målgrupps upplevelse av ditt varumärke och att du använder åsidosättning där det är lämpligt. Observera att transaktionsmeddelanden (t.ex. orderbekräftelser) alltid kommer att respekteras och åsidosättas så att din holdout-grupp får dem.
Du kan också hoppa över vissa kampanjer eller till och med välja att hoppa över flöden vid ett senare tillfälle genom ytterligare steg utanför den här konfigurationsguiden. Slutför nästa steg nedan för att avsluta konfigurationen och granska sedan avsnitten i den här guiden om att åsidosätta kampanjer eller flöden för mer information.
Dessutom påverkar det analysen av holdout-grupper om du åsidosätter vissa meddelanden så att dina holdout-grupper får dem. Du kan se en minskning av den totala marknadsföringsökningen eftersom holdout-gruppen fortfarande får vissa meddelanden.
6. För att se till att dina profiler fortfarande får vissa flöde(n) söker du efter flödets namn i fältet Sök flöden till vänster. Du kan också begränsa din sökning efter ett specifikt flöde genom att öppna listrutan Välj etiketter och välja vissa etikett(er) i listrutan.
Du kan också begränsa sökningen efter ett visst flöde genom att öppna rullgardinsmenyn Alla och antingen välja Välkomstserie eller Övergiven surfning. Genom att välja ett av dessa alternativ ser du bara dessa typer av flöde listade nedan.
Till sist kan du välja att leta efter flöden baserat på status (Live, Manuellt, Utkast). Öppna menyn Alla statusar och välj ett av alternativen. Det begränsar sedan listan nedan.
7. När du har hittat flödet/flödena som du vill åsidosätta (dvs. dina profiler kommer att få dessa flöden) markerar du kryssrutan bredvid varje relevant flöde och klickar på Granska.
Om du inte vill välja något att åsidosätta klickar du på Hoppa över.
8. På fliken Detaljer granskar du inställningarna, inklusive start- och slutdatum samt andelen marknadsföringsbara profiler i holdout-gruppen.
9. Klicka på fliken Overridden flows för att granska eventuella flöden som fortfarande skickas till dina profiler i holdout-gruppen, som i exemplet nedan.
10. Om du behöver göra några ändringar klickar du på Tillbaka. Annars klickar du på Starta test om du är redo att din holdout-grupp ska vara Aktiv.
Redigera eller avsluta dina holdout-grupper
Om du har konfigurerat en holdout-grupp och vill redigera vissa inställningar (t.ex. namn eller slutdatum) eller avsluta grupptestet i förtid går du till Analytics > Experiments > Global Experiments.
Här hittar du det globala holdout-kortet (det är kortet med data ovanför historikkortet).
Redigera en aktiv holdout-grupp
- Om du vill redigera namnet på din holdout-grupp eller slutdatumet klickar du på menyn med 3 punkter i kortets övre högra hörn.
2. Välj Redigera information i menyn.
3. Härifrån kan du redigera holdout-gruppens namn i fältet Redigera testnamn. Du kan också justera slutdatumet genom att klicka på fältet Ändra testets slutdatum och välja ett nytt datum i kalenderwidgeten.
4. När du är klar med dina ändringar klickar du på Spara.
Avsluta ett aktivt holdout-grupptest
Om du upptäcker att du vill avsluta ditt test i förtid kan du även göra det via det här kortet.
Observera att om du avslutar ett test i förtid kan det leda till otillräckliga eller snedvridna data.
- Klicka på menyn med tre punkter i kortets övre högra hörn.
2. Välj Avsluta test i menyn.
3. En modal visas sedan där du ombeds bekräfta om du vill avsluta testet och låta din holdout-grupp börja ta emot alla marknadsföringsmeddelanden igen. Klicka på Avsluta test för att bekräfta. Annars klickar du på Avbryt för att undvika att slutföra den här åtgärden.
Granskar åsidosatta flöden
- Om du vill granska vilka flöden du kan ha åsidosatt för din holdout-grupp klickar du på menyn med 3 punkter i det övre högra hörnet på det här kortet.
2. Välj Aktiva åsidosättningar i menyn.
3. Granska flödesåsidosättandet/flödesåsidosättningarna som du har valt för den här holdout-gruppen, om tillämpligt.
Om du vill lägga till ytterligare åsidosatta flöden måste du lägga till dessa manuellt.
Åsidosätta ytterligare flöden
När du har gått igenom den initiala konfigurationen av holdout-gruppen kan du märka att du vill lägga till fler åsidosatta flöden. Med andra ord kan du ha andra flöden som du vill att din holdout-grupp ska få.
Åsidosättande ställs in på huvudflödesnivå och profiler får alla delar av det här flödet som vanligt. Om du kör ett flöde med A/B-tester kommer alla variationer nu att nå rätt profiler i dina holdout-grupper.
- För att lägga till fler åsidosatta flöden går du till flöde. Hitta och klicka på ett befintligt flöde i listan, eller klicka på Skapa flöde för att åsidosätta holdout-grupper.
- När du är inne i flödet skapar du antingen eller klickar på utlösaren i ditt flöde.
Beroende på vilken utlösare du valde (t.ex. lista) är det här du ser panelen Utlösarinställningar till vänster, med alternativet att åsidosätta en befintlig global holdout-grupp. I exemplet nedan visas alternativet för att åsidosätta en global holdout-grupp på en listutlösare.
3. I panelen Trigger Setup klickar du på grupplänken Åsidosätt global holdout-grupp.
4. Om du vill skicka meddelanden från just det här flödet till personer i din globala holdout-grupp väljer du Ja. Annars väljer du Nej och avslutar åsidosättningsprocessen.
5. Klicka på Spara längst ned i panelen Trigger Setup för att spara dina ändringar. Klicka på Avbryt om du inte vill spara dina uppdateringar.
Åsidosätta enskilda kampanjer (e-post, sms eller push)
Det kan vara nödvändigt att låta vissa kampanjer nå dina holdout-grupper. Du kan till exempel vilja att dina globala holdout-grupper ska få ett individuellt välkomstmejl från ditt varumärke. I så fall behöver du åsidosätta den specifika kampanjen för att säkerställa att dina globala holdout-grupper får det här specifika meddelandet eller den här kampanjen.
- Navigera till Kampanjer.
- Sök i fältet eller hitta rätt utkast till kampanj i listan nedan. Om du skapar en ny kampanj kan du också lägga till åsidosättningen direkt under konfigurationen samtidigt.
Du kommer inte att kunna redigera skickade kampanjer.
3. I det första steget i kampanjkonfigurationen klickar du på alternativet Konfigurera i avsnittet Mottagare.
4. Om du vill skicka den här kampanjen till dem i din globala holdout-grupp väljer du Ja. Annars väljer du Nej och avslutar åsidosättningsprocessen.
5. Klicka på Spara för att bekräfta dina ändringar. Klicka på Avbryt om du inte vill spara dina uppdateringar.
6. Fortsätt att konfigurera resten av din kampanj. När du är klar klickar du på Spara och fortsätt till Innehåll.
Skärmen Redo att skicka? bekräftar sedan och visar att din Aktiva globala kontogrupp inte kommer att ta emot den här kampanjen.
Lägga till nya marknadsföringskanaler vid ett senare tillfälle
Om du lägger till en ny kanal i en befintlig kampanj (t.ex. sms) kommer dina inställningar från den ursprungliga kampanjkonfigurationen att respekteras, inklusive om du har valt att åsidosätta globala holdout-grupper.
Om du vill justera detta följer du installationsanvisningarna ovan och stänger i stället av åsidosättningsalternativet.
Granska om en profil är eller var en del av en holdout-grupp
Du kan granska om en viss profil (eller vissa profiler) för närvarande är eller vid någon tidpunkt var en del av en global holdout-grupp.
Inom en enskild profil
- Navigera till Målgrupper > Profiler.
- Sök i fältet ovan eller välj en profil i listan nedan. En banner, som i exemplet nedan, visar om en profil ingår i en global holdout-grupp.
Du kan också se om en profil tidigare ingick i en holdout-grupp och när detta inträffade. Borttagning från en holdout-grupp innebär att testet avslutades och att profilen togs bort från den.
Om en profil slogs ihop kommer framtida utskick att respektera holdgroup-statusen för den sammanslagna profilen.
I flöden
- Navigera till Flöden.
- Använd sökfältet ovan eller hitta flödet i listan nedan.
- Klicka på ett meddelande i flödet som har hoppats över.
- Visa panelen till vänster för ett visst flödesmeddelande för att se avsnittet Analytics (senaste 30 dagarna). Här ser du en rad för överhoppad aktivitet.
5. Klicka på Skipped för att skickas vidare till e-postmeddelandets flik Recipient Activity och automatiskt till avsnittet Skipped. Det här avsnittet visar varför personer har hoppats över vid sändningstid för ett visst flödesmeddelande, inklusive om de ingick i en global holdout-grupp.
I kampanjer
- Navigera till Kampanjer.
- Sök i fältet eller hitta den relevanta skickade kampanjen i listan nedan.
- Klicka på fliken Överhoppad aktivitet. I det här avsnittet visas varför personer har hoppats över vid sändningstid för det här specifika flöde-meddelandet, inklusive om de ingick i en global holdout-grupp.
Granska analysdata för holdout-grupper
Globalt Aktiv holdout-gruppkort
Holdout-kortet längst upp i analysavsnittet visar all information och alla data om en holdout-grupp som är Aktiv just nu. Det här kortet är särskilt användbart eftersom det ger ett tydligt sätt att granska hur framgångsrika dina marknadsföringsstrategier är och vilka intäkter, konverteringar och ökningar som är kopplade till dem.
Högst upp på ditt kort anges den totala procentandelen för marknadsföringslyftet, som visas nedan. Detta visar lyftet för ditt marknadsföringsprogram jämfört med dem i holdout-gruppen som inte fick några meddelanden. Det här mättalet är avgörande för att förstå den övergripande effekten av ditt marknadsföringsprogram.
Under den marknadsföringslyft kommer att inkludera data om:
- Holdout-procent
Andelen av totalt marknadsföringsbara profiler som inte fick några marknadsföringsmeddelanden. Detta härleds från din initiala konfiguration av holdout-gruppen. - Sannolikhet för vinst
Sannolikhet att ditt marknadsföringsprogram ger en meningsfull förbättring jämfört med holdout-gruppen.
Observera att om du har 10 eller färre stickprov från både din behandling och holdout tillsammans kommer du ännu inte att se någon vinstsannolikhet.
- Testgrupp
Huvudgruppen som tar emot all din marknadsföring. - holdout-grupp
Gruppen som hålls borta från att ta emot e-post, sms och pushnotiser som skickas via kampanjer och flöde. - Marknadsföringsbara profiler
Alla profiler som kan få e-post via Klaviyo betraktas som en marknadsföringsbar e-postprofil. Det finns två huvudkategorier av Aktiva profil:- Prenumerant
Prenumeranter har fyllt i ett registreringsformulär eller på annat sätt uttryckligen samtyckt till att ta emot e-postmarknadsföring. - Profiler som lagts till via allmänt engagemang
Det är möjligt att någon delar sin e-postadress med dig utan att uttryckligen samtycka till löpande e-postmarknadsföring. Till exempel kan någon som har gjort en beställning eller avbrutit en kassaprocess på din webbplats ha lagt till sin e-postadress under kassaprocessen, men aldrig uttryckligen registrerat sig.
- Prenumerant
De två sista kolumnerna visar konverteringsmättalet som ditt Konto använder, först som ett totalt råtal och sedan som den procentandel detta utgör av totalen. Observera att detta är totala konverteringar som gjorts av dina profiler och inte attribuerade konverteringar.
Historikkort
Kortet med historiksammanfattningen visar data för alla dina holdout-grupper. Det här kortet är särskilt användbart för att se eventuella inkrementella ändringar som du kan ha gjort i dina marknadsföringsprogram och hur dessa påverkade konverteringar och uplift. Här kan du spåra tillbaka dessa ändringar eller tidpunkter och följa upp vad som var framgångsrikt i dina program.
Kolumnerna kommer att representera följande:
- Namn
Namn på den globala holdout-grupp du har konfigurerat. - Startdatum
När den globala holdout-gruppen konfigurerades och först var aktiv. - Slutdatum
När den globala holdout-gruppen avslutades och profiler togs bort från den. - Holdout-storlek
Andelen profiler av dina totala marknadsförbara profiler som ingår i holdout-gruppen. Detta härleds från din initiala konfiguration av holdout-gruppen. - Marknadsföringslyft
Den procentuella ökningen av ditt marknadsföringsprogram jämfört med dem i holdout-gruppen med hjälp av ditt Kontos valda konverteringsmättal. Detta visar den övergripande framgången för dina marknadsföringsstrategier jämfört med dem som inte får all eller det mesta av din marknadsföring. - Sannolikhet att vinna
Sannolikhet att ert marknadsföringsprogram ger en meningsfull förbättring jämfört med holdout-grupp.
Du kan också klicka på pilarna bredvid någon av dessa kolumner för att sortera efter namn, datum, holdout-storlek, marknadsföringslyft och vinstsannolikhet i stigande eller fallande ordning.
Genom att klicka på något av namnen för global holdout kommer du till ett enskilt analyskort med data om just den här gruppen jämfört med dina marknadsföringsprogram.
Ytterligare resurser
- Så här redigerar eller schemalägger du om en kampanj
Läs om hur du redigerar eller schemalägger en schemalagd kampanj till annan tid. Du kan redigera både schemalagda kampanjer och utkastkampanjer.
- Så här redigerar du ett flöde
Lär dig hur du redigerar informationen och konfigurationen för ett flöde i Klaviyo.
- Förstå informationsavsnittet i en profil
Läs mer om informationsavsnittet i en profil i Klaviyo. Det innehåller uppgifter som när och hur profilen hittade dig och när profilen senast var aktiv.