Zrozumienie istotności statystycznej w kampaniach Klaviyo

Czego się dowiesz?

Dowiedz się, jak stwierdzić, czy test A/B jest statystycznie istotny, czy nie. Na przykład, jeśli wariant kampanii A ma wskaźnik wyświetleń wiadomości na poziomie 15%, a wariant B ma wskaźnik wyświetleń wiadomości na poziomie 14%, skąd masz pewność, czy lepszy wynik osiągnął wariant A czy B?

Uwaga dotycząca funkcji Ochrona prywatności w poczcie Apple

Wraz z wydaniem systemów iOS15, macOS Monterey, iPadOS 15 i WatchOS 8 funkcja „Ochrona prywatności w poczcie Apple” (MPP) zmieniła sposób, w jaki otrzymujemy dane wskaźników wyświetleń wiadomości na temat Twoich wiadomości e-mail, poprzez wstępne pobieranie naszego piksela śledzenia. W związku z tą zmianą ważne jest, aby zrozumieć, że wskaźniki wyświetleń wiadomości będą zawyżone.

Jeśli chodzi o Testy A/B, przewidujemy, że nasze narzędzia powinny uwzględniać te zawyżone wskaźniki wyświetleń wiadomości; jednak możesz potrzebować wyższego progu, aby osiągnąć istotność statystyczną. Jeśli regularnie przeprowadzasz Testy A/B ORAZ ponad ~45% wyświetleń pochodzi z Apple Mail, sugerujemy utworzenie raportu niestandardowego, który zawiera właściwość MPP. Możesz też zidentyfikować te wyświetlenia w poszczególnych segmentach subskrybentów.

Aby uzyskać pełne informacje na temat wyświetleń MPP, przejdź do przewodnika iOS 15: Jak przygotować się na zmiany Apple.

Kategorie istotności statystycznej

Istotność statystyczna oznacza, że Klaviyo jest w stanie matematycznie określić, czy wariant zapewni lepsze wyniki. W przypadku kampanii Klaviyo obserwuje zarówno liczbę osób, które otrzymały wiadomość, jak i prawdopodobieństwo wygranej, czyli to, jak bardzo prawdopodobne jest, że dany wariant przyniesie lepsze wyniki na podstawie tego, jak dobrze wypada w porównaniu z innymi wariantami.

Podczas testów A/B należy unikać wszelkich czynników, które mogą znacząco wpłynąć na Twoich odbiorców; na przykład nie należy przeprowadzać ponownego testu w pobliżu świątecznego weekendu, gdy odbiorcy znacznie częściej wypatrują Twoich e-maili.

Jeśli chodzi o testy A/B kampanii, istnieją cztery kategorie istotności statystycznej:

• Istotne statystycznie
• Obiecujące
• Nieistotne statystycznie
• Niejednoznaczne

W kolejnych kilku sekcjach omówimy, kiedy test należy do każdej z tych kategorii.

Istotne statystycznie

Znacznik istotności statystycznej w Twoim teście A/B oznacza, że określony wariant testu z dużym prawdopodobieństwem wygra z inną opcją (innymi opcjami). Oznacza też, że udałoby się odtworzyć wyniki i można zastosować zdobytą wiedzę w przyszłych wysyłkach.

W przypadku kampanii Klaviyo wynik testu A/B jest uznawany za istotny statystycznie, gdy:

• Każdy wariant otrzymało 50 osób.
• Prawdopodobieństwo wygranej wynosi co najmniej 90%.

Dzięki temu odpowiednio duża próba odbiorców zobaczyła test A/B, a zwycięski wariant w dużym stopniu przewyższył pozostałe warianty dla wybranej zwycięskiej metryki (którą w przypadku kampanii jest wskaźnik wyświetleń wiadomości, wskaźnik kliknięć lub wskaźnik zamówień).

Na przykład testujesz, czy emoji w temacie wiadomości wpływa na wskaźnik wyświetleń wiadomości. Wyniki testu pokazują, że zwycięski wariant to ten z emoji, a do tego ma zielony znacznik istotności statystycznej. W takim przypadku możesz mieć pewność, że temat wiadomości z emoji będzie konsekwentnie działał lepiej niż temat bez niego, i nie ma potrzeby ponownego testowania.

Jednak zawsze należy kierować się zdrowym rozsądkiem podczas podejmowania działań na podstawie wyników testu. Jeśli na przykład wysyłasz bardziej poważną lub przygnębiającą wiadomość, użycie emoji może nie być odpowiednie.

Obiecujące

Gdy wyniki są obiecujące, jeden wariant wygląda na lepiej działający niż pozostałe, ale same wyniki testu nie dostarczają wystarczająco mocnych dowodów. Jeśli test zostanie uznany za obiecujący, nie pojawi się żaden znacznik, który by to wskazywał. Zobaczysz jednak alert informujący, że należy ponownie uruchomić test.

Jeśli wynik testu jest obiecujący, przeprowadź kolejny test A/B, aby mieć większą pewność. Na przykład, wracając do przykładu z emoji powyżej, jeśli wyniki są obiecujące, wykonaj ten test ponownie. Jeśli po kilku testach A/B nadal widać obiecujące wyniki na korzyść emoji, można uznać, że emoji mają niewielki, ale pozytywny wpływ na odbiorców, i należy nadal używać ich w kampaniach.

W przypadku kampanii wynik testu A/B uznaje się za obiecujący, gdy:

• Każdy wariant otrzymało 50 osób.
• Prawdopodobieństwo wygranej wynosi od 75% do 89%.

Nieistotne statystycznie

Jeśli coś nie jest statystycznie istotne, jeden wariant wypada nieznacznie lepiej od drugiego (pozostałych) w teście i możesz nie być w stanie odtworzyć wyniku w kolejnym teście.

W naszym przykładzie może to oznaczać, że wariant z emoji pokonał wariant(y) bez emoji, ale tylko nieznacznie; zbyt mało, aby wynik testu był miarodajny.

W tym przypadku zalecamy przetestowanie tego czynnika jeszcze 2 lub 3 razy i uważne monitorowanie wyników.

Jeśli wynik testu nadal jest uznawany za nieistotny statystycznie, nie kontynuuj testowania; zamiast tego przejdź do Testów A/B dla innego tematu. Jeśli test należy do tej kategorii, na stronie wyników testu A/B pojawi się szary znacznik z napisem Nieistotne statystycznie.

W przypadku kampanii wynik testu A/B uznaje się za nieistotny statystycznie, gdy spełniony jest którykolwiek z poniższych warunków:

• Prawdopodobieństwo jest mniejsze niż 75% i co najmniej 1800 osób otrzymało każdy wariant.
  Lub
• Mniej niż 1800 odbiorców otrzymało każdy wariant, różnica procentowa między wiodącym wariantem a wariantem na drugim miejscu wynosi 4% lub mniej, a prawdopodobieństwo wygranej jest mniejsze niż 60%.

Niejednoznaczne

Jeśli test jest nierozstrzygający, oznacza to, że nie ma wystarczających informacji, aby określić, czy coś jest istotne statystycznie. Jeśli wyniki testu nie spełniają żadnego z kryteriów dla powyższych opcji, trafią do kategorii nierozstrzygającej. Możesz to zwizualizować, korzystając z drzewa decyzyjnego pokazanego w następnej sekcji. Pamiętaj, że nierozstrzygające testy nie będą pokazywać znacznika wskazującego, czy test był istotny statystycznie na stronie wyników.

W takim przypadku możesz chcieć rozszerzyć grono odbiorców na potrzeby kolejnych testów uzupełniających. Jeśli testujesz na małej grupie, interpretuj wyniki według własnego uznania i przeprowadź ponowny test, aby sprawdzić, czy Twoje ustalenia są trafne. Dodatkowo skup się na poznawaniu swoich subskrybentów innymi metodami, np. poprzez ankiety, sondaże itp.

Drzewo decyzyjne istotności statystycznej

Poniższe drzewo decyzyjne pokazuje, kiedy test A/B trafi do każdej kategorii. Zielone linie oznaczają, że odpowiedź brzmi „tak”, a czerwone — „nie”.