Inzicht in statistische significantie in Klaviyo campagnes

Wat je leert

Leer hoe je kunt zien of een A/B-test statisch significant is of niet. Als bijvoorbeeld een campagne variatie A een openingspercentage heeft van 15% en variatie B een openingspercentage van 14%, hoe weet je dan zeker of variatie A of B beter heeft gepresteerd?

Opmerking over Apple Mail Privacybescherming

Met de release van iOS15, macOS Monterey, iPadOS 15 en WatchOS 8 heeft Apple Mail Privacy Protection (MPP) de manier veranderd waarop we gegevens over de openingspercentages van je e-mails ontvangen door onze trackingpixel vooraf in te lezen. Het is belangrijk om te begrijpen dat door deze verandering de openingspercentages buiten proportie zullen zijn.

Met betrekking tot A/B-tests verwachten we dat onze tools account zouden moeten gebruiken voor deze opgeblazen openingspercentages; het kan echter zijn dat je een hogere drempel nodig hebt om statistische significantie te bereiken. Als je regelmatig A/B-tests uitvoert EN meer dan ~45% opens hebt op Apple Mail, raden we je aan een aangepast rapport te maken dat een MPP-eigenschap bevat. Je kunt deze opens ook identificeren in je individuele abonnee-segment.

Ga voor de volledige informatie over MPP-openingen naar onze gids iOS 15: Bereid je voor op de wijzigingen van Apple.

Categorieën van statistische significantie

Statistische significantie is wanneer Klaviyo wiskundig kan bepalen of een variatie betere prestaties oplevert. Voor campagnes observeert Klaviyo zowel het aantal mensen dat een bericht heeft ontvangen als de winkans, dat is hoe waarschijnlijk het is dat een variatie betere resultaten oplevert op basis van hoe goed deze de andere variatie(s) overtreft.

Wanneer je A/B-test, moet je elke factor vermijden die je publiek aanzienlijk kan beïnvloeden; test bijvoorbeeld niet opnieuw in de buurt van een vakantieweekend, wanneer de kans veel groter is dat je publiek op zoek is naar je e-mail. 

Bij A/B-testcampagnes zijn er vier categorieën voor statistische significantie:

• Statistisch significant
• Veelbelovend
• Niet statistisch significant
• Onduidelijk

In de volgende paragrafen bespreken we wanneer een test in elk van deze categorieën valt.

Statistisch significant

De statistisch significante tag op je A/B-test betekent dat het zeer waarschijnlijk is dat een bepaalde variatie van je test het wint van de andere optie(s). Het geeft ook aan dat je de resultaten zou kunnen reproduceren en het geleerde zou kunnen toepassen op je toekomstige zendingen.

Voor Klaviyo campagnes wordt een A/B-testresultaat statistisch significant geacht als:

• 50 mensen hebben elke variatie ontvangen.
• De winkans is minstens 90%.

Dit zorgt ervoor dat een voldoende grote steekproef van ontvangers de A/B-test heeft gezien en dat de winnende variatie de andere(n) ruimschoots overtrof voor de gekozen winnende meetwaarde (die voor campagnes openingspercentage, klikpercentage of geplaatst aankooppercentage is).

Stel bijvoorbeeld dat je test of een emoji in de onderwerpregel wel of geen invloed heeft op het openingspercentage. De testresultaten laten zien dat de winnende variatie die met de emoji is en er is een groene statistische significantie tag. In dit geval kun je erop vertrouwen dat een onderwerpregel met een emoji consistent beter zal presteren dan een regel zonder emoji: en je hoeft niet opnieuw te testen.

Je moet echter altijd je beste oordeel gebruiken als je handelt op basis van de resultaten van de test. Als je bijvoorbeeld een serieus of somber bericht verstuurt, is een emoji misschien niet geschikt om te gebruiken.

Veelbelovend

Als de resultaten veelbelovend zijn, lijkt het erop dat de ene variatie beter presteert dan de andere(n), maar het bewijs is niet sterk genoeg uit de test zelf. Als een test veelbelovend wordt geacht, verschijnt er geen tag om dit aan te geven; je ziet echter wel een waarschuwing die aangeeft dat je de test opnieuw moet uitvoeren.

Voor een veelbelovend testresultaat moet je nog een A/B-test uitvoeren, zodat je meer zekerheid hebt. Als je bijvoorbeeld teruggaat naar het emoji-voorbeeld hierboven en de resultaten veelbelovend zijn, voer deze test dan opnieuw uit. Als je na verschillende A/B-tests veelbelovende resultaten blijft zien in het voordeel van de emoji, kun je erop vertrouwen dat emoji's een lichte maar positieve invloed hebben op je publiek en moet je ze blijven gebruiken in campagnes.

Voor campagnes wordt een resultaat van een A/B-test als veelbelovend beschouwd als:

• 50 mensen hebben elke variatie ontvangen.
• De winkans ligt tussen 75% en 89%.

Niet statistisch significant

Als iets niet statistisch significant is, verslaat de ene variatie de andere slechts een klein beetje in de test en kun je het resultaat misschien niet repliceren in een volgende test.

Voor ons voorbeeld kan dit betekenen dat de variatie met de emoji de variatie(s) zonder emoji verslaat, maar slechts een heel klein beetje; niet genoeg om het testresultaat betekenisvol te laten zijn.

In dit geval raden we aan om deze factor nog 2 of 3 keer te testen en de resultaten goed in de gaten te houden.

Als je blijft zien dat het testresultaat statistisch niet significant wordt geacht, ga dan niet verder met testen; ga in plaats daarvan verder met het A/B-testen van een ander onderwerp. Als een test in deze categorie valt, verschijnt er een grijze tag met de tekst Niet statistisch significant op de pagina met A/B-testresultaten.

Voor campagnes wordt een resultaat van een A/B-test als niet statistisch significant beschouwd als:

• De kans is kleiner dan 75% en ten minste 1.800 mensen ontvingen elke variatie.
  Of
• Minder dan 1.800 hebben elke variatie ontvangen, het procentuele verschil tussen de leidende variatie en de tweede variatie is 4% of minder en de winkans is minder dan 60%.

Onduidelijk

Als een test niet overtuigend is, betekent dit dat er niet genoeg informatie is om te bepalen of iets wel of niet statistisch significant is. Als de testresultaten niet voldoen aan een van de criteria voor de opties hierboven, vallen ze in de onbesliste emmer. Je kunt dit visualiseren met behulp van de beslisboom in de volgende paragraaf. Merk op dat onbesliste testen geen tag tonen op de resultatenpagina die aangeeft of de test statistisch significant was of niet.

In dit geval wil je misschien je publiek uitbreiden voor eventuele vervolgtesten. Als je een kleine groep hebt waarmee je test, interpreteer de resultaten dan naar eigen inzicht en test opnieuw om te controleren of wat je gevonden hebt klopt. Richt je verder op het leren over je abonnee via andere middelen; bijv. enquêtes, opiniepeilingen, enz.

Beslisboom voor statistische significantie

De volgende beslisboom laat zien wanneer een A/B-test in elke categorie valt. De groene lijnen geven aan dat het antwoord "ja" is, terwijl rood staat voor "nee".

Extra hulpbronnen

Lees meer over A/B-testresultaten in dit artikel. 

afrekenen best practices voor A/B-tests. 

Bekijk hoe je je e-mail kunt A/B-testen: 

• Hoe je een individuele flow-e-mail kunt A/B-testen
• Hoe je een campagne-e-mail kunt A/B-testen