Aan de slag met algemene hold-out-groepen

Wat je leert

Ontdek hoe je algemene hold-out-groepen gebruikt om de impact en effectiviteit van je marketing te begrijpen. Algemene hold-out-groepen bieden een manier om een aantal profielen uit te sluiten van je berichten om het incrementele succes van je marketingprogramma te bepalen. Met deze hold-out-groepen kun je de basiswaarde van je marketingprogramma's vergelijken en vervolgens analyseren, en manieren vinden om deze strategieën voortdurend te optimaliseren.

Voordat je van start gaat

Je moet minstens 400.000 profielen hebben (let op: dit is het totale aantal profielen) om in aanmerking te komen voor hold-out-groepen. Dit zorgt ervoor dat Klaviyo voldoende profielgegevens heeft om de hold-out-groep te vergelijken met je andere profielen die marketing ontvangen. We raden je ook aan om hold-out-groepen 3 maanden te laten lopen om voldoende gegevens te verzamelen.

Meer informatie over wanneer je hold-out-groepen wel of niet gebruikt.

Hold-out-groepen op de juiste manier gebruiken

Hoe je hold-out-groepen gebruikt

Hold-out-groepen moet je gebruiken als je de effectiviteit van je marketingprogramma's wilt testen, en mogelijk ook alle wijzigingen die je in deze strategieën aanbrengt. Hold-out-groepen zijn handig omdat ze een duidelijke vergelijking bieden om de impact te laten zien die je marketingstrategieën hebben, aangezien ze geen communicatie van je ontvangen.

Je wilt bijvoorbeeld overwegen om hold-out-groepen te gebruiken als je het volgende wilt vaststellen:

• De duidelijke waarde en impact van je totale marketingprogramma ten opzichte van de kosten.
• Wanneer je wijzigingen aanbrengt in je marketingprogramma (bijv. door een nieuw kanaal toe te voegen), de waarde die aan deze incrementele wijzigingen is gekoppeld.
• Als bepaalde marketingactiviteiten eigenlijk schadelijk zijn, negatieve resultaten opleveren en moeten worden aangepast (bijv. te veel flows op de verkeerde momenten naar klanten).

Aanvullende factoren om te overwegen bij hold-out-groepen

Het is belangrijk om rekening te houden met de timing en toepassing van wanneer je hold-out-groepen kunt gebruiken.

Aangezien mensen in een hold-out-groep geen e-mails, sms, pushmeldingen ontvangen die via campagnes of flows worden verzonden, wil je rekening houden met de volgende factoren:

• Je kunt maar één actieve hold-out-groep tegelijk hebben om te gebruiken voor vergelijking met je marketingprogramma's.
• Een hold-out-groep is van toepassing op alle kanalen die in een campagne of flow worden gebruikt; deze kan niet worden ingeschakeld voor één specifiek kanaal in plaats van een ander.
• Een hold-out-groep verstoort geen andere belangrijke seizoensgebonden e-commerce-evenementen of periodes van het jaar (bijv. Black Friday Cyber Monday).
• Welke berichten mensen, zelfs in hold-out-groepen, altijd moeten ontvangen. Meer informatie over berichten overschrijven.

Hold-out-groepen versus A/B-testen

Hold-out-groepen verschillen van aard van A/B-testen en de 2 functies moeten niet met elkaar worden verward. Hold-out-groepen helpen je de impact van je marketingcommunicatie te begrijpen door niets te verzenden naar een groep mensen. A/B-testen stelt je daarentegen in staat om 2 of meer versies van je marketingcommunicatie te vergelijken. Je kunt bijvoorbeeld 2 versies van een e-mailcampagne vergelijken.

Een hold-out-groep maken

1. Ga naar Analytics > Experiments en klik op het tabblad Globale experimenten om een hold-out-groep te maken.

2. Klik op Test maken.

Je wordt daarna door een reeks stappen geleid om je hold-out-groep in te stellen en aan te passen.

3. Gebruik het veld links om een getal toe te voegen dat het percentage van de verkoopbare profielen vertegenwoordigt dat je in je hold-out-groep wilt plaatsen. Als je je percentage in het veld bijwerkt, werkt de numerieke waarde het totale aantal rechts bij. Gebruik in dit veld alleen getallen (tot 2 decimalen).

4. Als je tevreden bent met je percentage, klik je op Doorgaan.

5. Standaard start je hold-out-groep op de datum van vandaag, maar je kunt je einddatum kiezen. Klik in het veld Datum selecteren om de kalenderwidget te openen. Klik hier op een datum in de kalender om je einddatum te selecteren.

Je kunt ook ervoor zorgen dat bepaalde flows die als noodzakelijk worden beschouwd nog steeds worden ontvangen door profielen in je hold-out-groep. Om dit te doen, overschrijf je de regels van de hold-out-groep voor bepaalde flow(s). Veel welkomstflow zijn bijvoorbeeld belangrijk genoeg dat je hold-out-klanten ze nog steeds moeten ontvangen en dus moeten worden overschreven.

6. Om ervoor te zorgen dat je profielen nog steeds bepaalde flow(s) ontvangen, zoek je op de flownaam in het veld Flows zoeken links. Je kunt je zoekopdracht voor een specifieke flow ook verfijnen door de dropdown Tags selecteren te openen en bepaalde tag(s) te selecteren in de dropdown.

Je kunt je zoekopdracht naar een bepaalde flow verder verfijnen door het dropdownmenu Alle te openen en te kiezen voor welkomstserie of website verlaten. Door een van deze opties te kiezen, zie je hieronder alleen deze typen flows in de lijst staan.

Tot slot kun je ervoor kiezen om naar flows te zoeken op basis van status (Live, Handmatig, Concept). Open het menu Alle statussen en kies een van de opties; hierdoor wordt je lijst hieronder kleiner.

7. Zodra je de flow(s) hebt gevonden die je wilt overschrijven (d.w.z. je profielen ontvangen deze flow(s)), selecteer je het selectievakje naast elke relevante flow en klik je op Controleren.

Als je geen items wilt selecteren om te overschrijven, klik je op Overslaan.

8. Bekijk op het tabblad Details de instellingen, waaronder de begin- en einddatum en het percentage van verkoopbare profielen in de hold-out-groep.

9. Klik op het tabblad Overschreven flows om eventuele flows te bekijken die nog steeds naar je hold-out-groep-profielen worden verzonden, zoals in het onderstaande voorbeeld wordt weergegeven.

10. Als je wijzigingen wilt aanbrengen, klik je op Terug. Klik anders op Test starten als je klaar bent om je hold-out-groep actief te maken.

Je hold-out-groepen bewerken of beëindigen

Als je een hold-out-groep hebt ingesteld en bepaalde instellingen (d.w.z. naam of einddatum) wilt bewerken of de groepstest vroegtijdig wilt beëindigen, ga dan naar Analytics > Experiments > Global Experiments.

Hier vind je de globale hold-out-kaart (dit is de kaart met gegevens boven de geschiedeniskaart).

Een actieve hold-out-groep bewerken

1. Als je de naam van je hold-out-groep of de einddatum wilt bewerken, klik je op het menu met 3 stippen in de rechterbovenhoek van de kaart.

2. Kies Details bewerken in het menu.

3. Vanaf hier kun je de naam van je hold-out-groep bewerken in het veld Testnaam bewerken. Je kunt ook de einddatum aanpassen door op het veld Einddatum van test wijzigen te klikken en een nieuwe datum te kiezen in de kalenderwidget.

4. Als je klaar bent met je bewerkingen, klik je op Opslaan.

Een actieve test voor een hold-out-groep beëindigen

Als je je test vroegtijdig wilt beëindigen, kun je dat ook via deze kaart doen.

1. Klik op het menu met 3 puntjes in de rechterbovenhoek van de kaart.

2. Kies Test beëindigen in het menu.

3. Er verschijnt vervolgens een modalvenster waarin je wordt gevraagd te bevestigen of je de test wilt beëindigen en je hold-out-groep weer alle marketingberichten wil ontvangen. Klik op Test beëindigen om te bevestigen. Klik anders op Annuleren om te voorkomen dat je deze actie voltooit.

Overschreven flows bekijken

1. Als je wilt controleren welke flow(s) je mogelijk hebt overschreven voor je hold-out-groep, klik je op het menu met 3 puntjes in de rechterbovenhoek van deze kaart.

2. Kies Actieve overschrijvingen in het menu.

3. Controleer de flow-overschrijving(en) die je hebt gekozen voor deze specifieke hold-out-groep, indien van toepassing.

Aanvullende flow overschrijven

Nadat je de initiële setup van de hold-out-groep hebt doorlopen, kun je merken dat je meer overschreven flows wilt toevoegen. Met andere woorden: je hebt mogelijk andere flows die je hold-out-groep moet ontvangen.

1. Navigeer naar Flow om meer overschreven flows toe te voegen. Zoek een bestaande flow in de lijst en klik erop, of klik op Flow maken om hold-out-groepen te overschrijven.
2. Als je in de flow zit, maak je de trigger in je flow aan of klik je erop.

Afhankelijk van welke trigger je hebt gekozen (bijv. een lijst), zie je hier links het paneel Trigger Setup met de optie om een bestaande algemene hold-out-groep te overschrijven. In het onderstaande voorbeeld wordt de optie om een algemene hold-out-groep te overschrijven getoond bij een lijsttrigger.

3. Klik in het paneel Trigger Setup op de groepslink Algemene hold-out-groep overschrijven.

4. Als je berichten vanuit deze specifieke flow wilt sturen naar degenen in je algemene hold-out-groep, kies je Ja. Kies anders Nee en sluit het override-proces af.

5.Klik onderaan het paneel Trigger Setup op Save om je wijzigingen op te slaan. Klik op Cancel als je je updates niet wilt opslaan.

Individuele campagnes (e-mail, sms of push) overschrijven

Het kan nodig zijn om bepaalde campagnes je hold-out-groepen te laten bereiken. Je wilt bijvoorbeeld dat je algemene hold-out-groepen een aparte welkomstmail van je merk ontvangen. In dit geval moet je de specifieke campagne overschrijven om ervoor te zorgen dat je algemene hold-out-groepen dit specifieke bericht of deze campagne ontvangen.

1. Ga naar Campagnes.
2. Zoek in het veld of vind de juiste conceptcampagne in de onderstaande lijst. Als je een nieuwe campagne maakt, kun je de override ook direct tijdens de setup toevoegen.

3. Klik in de eerste stap van het instellen van de campagne op de optie Configureren in de sectie Ontvangers.

4. Als je deze specifieke campagne wilt versturen naar degenen in je algemene hold-out-groep, kies je Ja. Kies anders Nee en sluit het override-proces af.

5. Klik op Opslaan om je wijzigingen te bevestigen. Klik op Annuleren als je je updates niet wilt opslaan.

6. Ga verder met het instellen van de rest van je campagne. Als je klaar bent, klik je op Opslaan en doorgaan naar content.

Het scherm Klaar om te versturen? bevestigt vervolgens en laat zien dat je actieve wereldwijde accountgroep deze campagne niet ontvangt.

Nieuwe marketingkanalen op een later moment toevoegen

Als je een nieuw kanaal toevoegt aan een bestaande campagne (bijv. sms), worden je instellingen uit de oorspronkelijke campagne-instelling gerespecteerd, ook als je hebt gekozen om algemene hold-out-groepen te overschrijven.

Als je dit wilt aanpassen, volg je de bovenstaande instructies voor instellen en zet je in plaats daarvan de optie voor overschrijven uit.

Controleren of een profiel deel uitmaakt of heeft uitgemaakt van een hold-out-groep

Je kunt controleren of een bepaald profiel (of bepaalde profielen) momenteel onderdeel is of ooit onderdeel was van een algemene hold-out-groep.

Binnen één profiel

1. Ga naar Doelgroepen > Profielen.
2. Zoek in het veld hierboven of kies een profiel uit de lijst hieronder. Een banner, zoals in het onderstaande voorbeeld, laat je weten of een profiel deel uitmaakt van de algemene hold-out-groep.

Je kunt ook zien of een profiel eerder onderdeel was van een hold-out-groep en wanneer dit is gebeurd. Het verwijderen uit een hold-out-groep betekent dat de test is beëindigd en dat het profiel eruit is verwijderd.

Binnen flows

1. Navigeer naar flows.
2. Gebruik het zoekveld hierboven of zoek de flow in de onderstaande lijst.
3. Klik op een bericht in de flow dat is overgeslagen.
4. Bekijk het linkerpaneel voor een bepaald flow-bericht om de sectie Analytics (laatste 30 dagen) te zien. Hier zie je een regel voor overgeslagen activiteit.

5. Klik op Overgeslagen om automatisch naar het tabblad Ontvangersactiviteit van de e-mail en naar de sectie Overgeslagen te gaan. In deze sectie zie je waarom personen op het verzendmoment zijn overgeslagen voor een bepaald flow-bericht, inclusief wanneer ze in een algemene hold-out-groep zaten.

Binnen campagnes

1. Ga naar Campagnes.
2. Zoek in het veld of zoek de juiste verzonden campagne in de onderstaande lijst.
3. Klik op het tabblad Overgeslagen activiteit. In dit gedeelte zie je waarom personen zijn overgeslagen op het verzendmoment voor dit specifieke flowbericht, inclusief of ze in een algemene hold-out-groep zaten.

Analytics beoordelen voor hold-out-groepen

Kaart van algemene actieve hold-out-groep

De hold-out-kaart bovenaan het analysegedeelte geeft alle informatie en gegevens weer over een momenteel actief hold-out. Deze kaart is vooral handig omdat deze een duidelijke manier biedt om het succes van je marketingstrategieën en de bijbehorende omzet, conversies en uplift te beoordelen.

Bovenaan je kaart zie je het totale marketingliftpercentage, zoals hieronder weergegeven. Dit geeft de lift van je marketingprogramma weer ten opzichte van die in de hold-out-groep die geen berichten hebben ontvangen. Deze meetwaarde is cruciaal om de totale impact van je marketingprogramma te begrijpen.

Onder de marketinglift staan gegevens over:

• Hold-out-percentage
  Het percentage van alle profielen die geschikt zijn voor marketinginitiatieven en die geen marketingberichten hebben ontvangen. Dit wordt afgeleid van je eerste instelling van de hold-out-groep.
• Winkans
  De waarschijnlijkheid dat je marketingprogramma een zinvolle verbetering biedt ten opzichte van de hold-out-groep.

• Behandelingsgroep
  De hoofdgroep die al je marketing ontvangt.
• Hold-out-groep
  De groep die geen e-mails, sms- en pushmeldingen ontvangt die via campagnes en flows worden verstuurd.
• Marktbare profielen
  Elk profiel dat je via Klaviyo kunt e-mailen wordt beschouwd als een marktbaar e-mailprofiel. Er zijn 2 hoofdcategorieën van actieve profiel:
  • Abonnees
    Abonnees hebben een aanmeldingsformulier ingevuld of op een andere manier expliciet toestemming gegeven om e-mailmarketing te ontvangen.
  • Profielen toegevoegd op basis van algemene betrokkenheid
    Het is mogelijk dat iemand zijn e-mailadres met je deelt zonder expliciet toestemming te geven voor doorlopende e-mailmarketing. Iemand die bijvoorbeeld een bestelling heeft geplaatst of het afrekenen op je site heeft afgebroken, kan een e-mailadres hebben toegevoegd tijdens het afrekenproces, maar nooit expliciet toestemming hebben gegeven om e-mail te ontvangen.

De laatste twee kolommen vertegenwoordigen de conversie-meetwaarde die je account gebruikt, weergegeven als het totale ruwe aantal en vervolgens het percentage dat dit uitmaakt van het totaal. Let op: dit is het totaal aantal conversies dat door je profielen is gemaakt en niet toewijsbare conversies.

Geschiedeniskaart

De geschiedenisoverzichtskaart biedt de data voor al je hold-out-groepen. Deze kaart is vooral handig om eventuele incrementele wijzigingen te zien die je mogelijk hebt aangebracht in je marketingprogramma's en hoe die de conversies en uplift hebben beïnvloed. Hier kun je deze wijzigingen of momenten in de tijd terugvinden en bijhouden wat succesvol was in je programma's.

Kolommen staan voor het volgende:

• Naam
  Naam van de algemene hold-out-groep die je hebt ingesteld.
• Startdatum
  Wanneer de algemene hold-out-groep is ingesteld en voor het eerst actief was.
• Einddatum
  Wanneer de algemene hold-out-groep is beëindigd en profielen daaruit zijn verwijderd.
• Hold-outgrootte
  Het percentage profielen van je totale aantal profielen die geschikt zijn voor marketinginitiatieven dat wordt vertegenwoordigd in de hold-out-groep. Dit wordt afgeleid van je eerste instelling van de hold-out-groep.
• Marketing lift
  De procentuele lift van je marketingprogramma ten opzichte van die in de hold-out-groep op basis van de in je account geselecteerde conversie-meetwaarde. Dit laat het algehele succes zien van je marketingstrategieën in vergelijking met degenen die niet alle of het grootste deel van je marketing ontvangen.
• Winkans
  De waarschijnlijkheid dat je marketingprogramma een zinvolle verbetering biedt ten opzichte van de hold-out-groep.

Je kunt ook op de pijlen naast een van deze kolommen klikken om te sorteren op namen, datums, hold-out-groottes, marketing lift en winkans in oplopende of aflopende volgorde.

Door op een van de namen van de globale hold-outs te klikken, ga je naar een afzonderlijke analytics-kaart met gegevens over deze specifieke groep vergeleken met je marketingprogramma's.

Extra hulpbronnen