Zrozumienie istotności statystycznej w Klaviyo kampanie

Czego się dowiesz

Dowiedz się, jak stwierdzić, czy test A/B jest uznawany za statystycznie istotny, czy też nie. Na przykład, jeśli kampania wariantu A ma wskaźnik wyświetleń wiadomości wynoszący 15%, a wariant B ma wskaźnik wyświetleń wiadomości wynoszący 14%, skąd masz pewność, że wariant A lub B wypadł lepiej?

Uwaga dotycząca ochrony prywatności w usłudze Apple Mail

Wraz z wydaniem systemów iOS15, macOS Monterey, iPadOS 15 i WatchOS 8 funkcja „Ochrona prywatności w poczcie Apple” (MPP) zmieniła sposób, w jaki otrzymujemy dane wskaźników wyświetleń wiadomości na temat Twoich wiadomości e-mail, poprzez wstępne pobieranie naszego piksela śledzenia. W związku z tą zmianą ważne jest, aby zrozumieć, że wskaźniki wyświetleń wiadomości będą zawyżone.

Jeśli chodzi o Testy A/B, przewidujemy, że nasze narzędzia powinny uwzględniać te zawyżone wskaźniki wyświetleń wiadomości; możesz jednak potrzebować wyższego progu, aby osiągnąć istotność statystyczną. Jeśli regularnie przeprowadzasz testy A/B ORAZ masz więcej niż ~45% otwarć w Apple Mail, sugerujemy utworzenie niestandardowego raportu zawierającego właściwość MPP. Możesz również zidentyfikować te otwarcia w swoim indywidualnym segmencie subskrybenta.

Aby uzyskać pełne informacje na temat wyświetleń MPP, przejdź do przewodnika iOS 15: Jak przygotować się na zmiany Apple.

Kategorie istotności statystycznej

Istotność statystyczna ma miejsce wtedy, gdy Klaviyo jest w stanie matematycznie określić, czy dany wariant zapewni lepszą wydajność. W przypadku kampanii Klaviyo obserwuje zarówno liczbę osób, które otrzymały wiadomość, jak i prawdopodobieństwo wygranej, czyli prawdopodobieństwo, że wariant przyniesie lepsze wyniki w oparciu o to, jak dobrze przewyższa inne warianty.

Podczas testów A/B powinieneś unikać wszelkich czynników, które mogą znacząco wpłynąć na odbiorców; na przykład, nie przeprowadzaj ponownych testów w pobliżu weekendu świątecznego, kiedy odbiorcy znacznie częściej szukają Twojego e-maila. 

Jeśli chodzi o kampanie Testy A/B, istnieją cztery kategorie istotności statystycznej:

• Istotne statystycznie
• Obiecujący
• Nieistotne statystycznie
• Niejednoznaczne

W kilku następnych sekcjach omówimy, kiedy test należy do każdej z tych kategorii.

Istotne statystycznie

Statystycznie istotny znacznik w twoim teście A/B oznacza, że określony wariant twojego testu z dużym prawdopodobieństwem wygra z innymi opcjami. Oznacza to również, że będziesz w stanie powtórzyć wyniki i zastosować to, czego się nauczyłeś, do przyszłych wysyłek.

Dla Klaviyo kampanie, wynik testu A/B uznaje się za statystycznie istotny, gdy:

• Każdy wariant otrzymało 50 osób.
• Prawdopodobieństwo wygranej wynosi co najmniej 90%.

Gwarantuje to, że wystarczająco duża próba odbiorców widziała test A/B i że zwycięski wariant w dużej mierze przewyższył inne dla wybranej zwycięskiej metryki (która dla kampanie jest albo wskaźnikiem wyświetleń wiadomości, wskaźnikiem kliknięć, albo umieszczonym wskaźnikiem zamówień).

Załóżmy na przykład, że testujesz, czy emoji w temacie wiadomości wpływa na wskaźnik wyświetleń wiadomości. Wyniki testu pokazują, że zwycięskim wariantem jest ten z emoji i jest zielony znacznik istotności statystycznej. W takim przypadku możesz mieć pewność, że temat wiadomości z emoji będzie konsekwentnie działał lepiej niż ten bez niego: i nie ma potrzeby ponownego testowania.

Jednak zawsze powinieneś kierować się najlepszą oceną sytuacji, działając na podstawie wyników testu. Jeśli na przykład wysyłasz bardziej poważną lub ponurą wiadomość, emoji może nie być odpowiednie.

Obiecujący

Gdy wyniki są obiecujące, jeden wariant wygląda na lepszy od innych, ale dowody nie są wystarczająco mocne. Jeśli test zostanie uznany za obiecujący, nie pojawi się żaden znacznik wskazujący na to; zobaczysz jednak alert wskazujący, że należy ponownie uruchomić test.

Jeśli wynik testu jest obiecujący, powinieneś przeprowadzić kolejny test A/B, aby mieć większą pewność. Na przykład, wracając do powyższego przykładu emoji, jeśli wyniki są obiecujące, wykonaj ten test ponownie. Jeśli po kilku testach A/B nadal widzisz obiecujące wyniki na korzyść emoji, możesz zaufać, że emoji mają niewielki, ale pozytywny wpływ na odbiorców i powinieneś nadal używać ich w kampaniach.

Dla kampanie, wynik testu A/B jest uznawany za obiecujący, gdy:

• Każdy wariant otrzymało 50 osób.
• Prawdopodobieństwo wygranej wynosi od 75% do 89%.

Nieistotne statystycznie

Jeśli coś nie jest statystycznie istotne, jeden wariant pokonuje inny(e) w teście tylko nieznacznie i możesz nie być w stanie powtórzyć wyniku w kolejnym teście.

W naszym przykładzie może to oznaczać, że wariant z emoji pokonał wariant(y) bez emoji, ale tylko o bardzo niewielką ilość; nie na tyle, aby wynik testu był znaczący.

W takim przypadku zalecamy ponowne przetestowanie tego czynnika jeszcze 2 lub 3 razy i uważne obserwowanie wyników.

Jeśli nadal widzisz, że wynik testu nie jest statystycznie istotny, nie kontynuuj testu; zamiast tego przejdź do Testy A / B na inny temat. Jeśli test należy do tej kategorii, na stronie wyników testu A/B pojawi się szary znacznik z informacją Nieistotne statystycznie.

W przypadku kampanii wynik testu A/B uznaje się za nieistotny statystycznie, jeśli:

• Prawdopodobieństwo wynosi mniej niż 75% i co najmniej 1800 osób otrzymało każdy wariant.
  Lub
• Mniej niż 1800 osób otrzymało każdy wariant, różnica procentowa między wariantem wiodącym a wariantem z drugiego miejsca wynosi 4% lub mniej, a prawdopodobieństwo wygranej jest mniejsze niż 60%.

Niejednoznaczne

Jeśli test jest niejednoznaczny, oznacza to, że nie ma wystarczających informacji, aby określić, czy coś jest statystycznie istotne. Jeśli wyniki testu nie spełniają żadnego z kryteriów dla powyższych opcji, zostanie on zakwalifikowany jako nierozstrzygający. Możesz to zwizualizować za pomocą drzewa decyzyjnego pokazanego w następnej sekcji. Zwróć uwagę, że w przypadku niejednoznacznych testów na stronie wyników nie będzie wyświetlany znacznik wskazujący, czy test był istotny statystycznie.

W takim przypadku możesz chcieć rozszerzyć grono odbiorców do dalszych testów. Jeśli masz małą grupę, z którą testujesz, zinterpretuj wyniki według własnego uznania i powtórz test, aby sprawdzić, czy to, co znalazłeś, jest dokładne. Ponadto skup się na poznawaniu swoich subskrybentów za pomocą innych środków, np. ankiet, sondaży itp.

Drzewo decyzyjne istotności statystycznej

Poniższe drzewo decyzyjne pokazuje, kiedy test A/B będzie należał do każdej kategorii. Zielone linie wskazują, że odpowiedź brzmi "tak", podczas gdy czerwone oznaczają "nie".

Dodatkowe źródła

Dowiedz się więcej o wynikach Testy A/B w tym artykule. 

przejdź na stronę płatności przejdź do kasy najlepszych praktyk dla Testy A/B. 

Zobacz, jak testować wiadomości e-mail metodą A/B: 

• Jak testować A/B indywidualną sekwencję e-mail
• Jak przetestować kampanię e-mail