Zrozumienie istotności statystycznej w kampaniach Klaviyo
Czego się dowiesz?
Dowiedz się, jak stwierdzić, czy test A/B jest istotny statystycznie. Na przykład, jeśli wariant kampanii A ma wskaźnik wyświetleń wiadomości na poziomie 15%, a wariant B ma wskaźnik wyświetleń wiadomości na poziomie 14%, skąd wiesz, który wariant wypadł lepiej?
Uwaga dotycząca funkcji Ochrona prywatności w poczcie Apple
Wraz z wydaniem systemów iOS15, macOS Monterey, iPadOS 15 i watchOS 8 w funkcji „Ochrona prywatności w poczcie Apple” (MPP) zmieniono sposób, w jaki poprzez wstępne pobieranie naszego piksela śledzenia otrzymujemy dane wskaźników wyświetleń wiadomości na temat Twoich e-maili. W związku z tą zmianą ważne jest, aby zrozumieć, że wskaźniki wyświetleń wiadomości będą zawyżone.
Otwarcia MPP są uwzględniane, gdy test A/B wykorzystuje wskaźnik wyświetleń wiadomości jako zwycięską metrykę. Istotność statystyczna nie potwierdza, że odbiorcy celowo otworzyli e-maila. Rozważ wskaźnik kliknięć, jeśli MPP utrudnia interpretację wyników wskaźnika wyświetleń wiadomości. Aby zrozumieć, jak MPP wpływa na Twoich odbiorców, utwórz raport niestandardowy, który zawiera właściwość MPP. Możesz też zidentyfikować te otwarcia w swoich poszczególnych segmentach subskrybentów.
Aby uzyskać pełne informacje na temat wyświetleń MPP, przejdź do przewodnika iOS 15: Jak przygotować się na zmiany Apple.
Kategorie istotności statystycznej
Istotność statystyczna wskazuje na mocne dowody na to, że jeden wariant wypada lepiej niż pozostałe w przypadku wybranej zwycięskiej metryki. W przypadku kampanii Klaviyo ocenia zarówno wielkość odbiorców, jak i prawdopodobieństwo wygranej: szacowane prawdopodobieństwo, że dany wariant ma najwyższy wynik dla tej metryka, na podstawie danych testowych.
Podczas testów A/B należy unikać wszelkich czynników, które mogą znacząco wpłynąć na Twoich odbiorców; na przykład nie należy przeprowadzać ponownego testu w pobliżu świątecznego weekendu, gdy odbiorcy znacznie częściej wypatrują Twoich e-maili.
Jeśli chodzi o Testy A/B kampanii, są cztery kategorie istotności statystycznej:
- Istotne statystycznie
- Obiecujące
- Nieistotne statystycznie
- Niejednoznaczne
Aby przejrzeć wyniki, otwórz raport kampanii i wybierz Wyniki testu A/B. Po zakończeniu testu sprawdź sekcję Prawdopodobieństwo wygranej. Jeśli dostępne są zarówno Wyniki okresu testowego, jak i Wyniki ciągłe, wybierz Wyniki okresu testowego, aby ocenić dane zebrane przed wyłonieniem zwycięzcy. Wyniki ciągłe obejmują późniejszą aktywność odbiorców testu.
Nie masz czasu na czytanie? Sprawdź drzewo decyzyjne na końcu tego artykułu.
Istotne statystycznie
Etykieta Istotne statystycznie w Twoim teście A/B oznacza, że jeden wariant z dużym prawdopodobieństwem osiągnie lepsze wyniki niż pozostała opcja (opcje) dla wybranej metryki, na podstawie danych testowych. Możesz wykorzystać to, czego się dowiedziałeś(-aś), aby planować przyszłe wysyłki, ale ten wynik nie gwarantuje takiego samego efektu w przypadku innej grupy odbiorców, innej wiadomości lub innego czasu wysyłki.
W przypadku kampanii Klaviyo wynik testu A/B jest uznawany za istotny statystycznie, gdy:
- Każdy wariant ma ponad 50 udanych dostarczeń e-maila lub ponad 50 odbiorców SMS.
- Prawdopodobieństwo wygranej jest większe niż 90%.
Te kryteria łączą wielkość grupy odbiorców z pewnością wyniku dla wybranej zwycięskiej metryki: wskaźnika wyświetleń wiadomości, wskaźnika kliknięć lub wskaźnika zamówień. Wyświetlane prawdopodobieństwo wygranej jest zaokrąglane, więc podczas interpretowania wartości bliskiej progowi użyj etykiety wyniku lub alertu.
Na przykład załóżmy, że testujesz, czy emoji w temacie wiadomości wpływa na wskaźnik wyświetleń wiadomości. Wyniki pokazują, że wariant z emoji wygrał i ma etykietę Istotne statystycznie. To przemawia za używaniem emoji w podobnych wysyłkach do tych odbiorców, ale nie dowodzi, że emoji będą konsekwentnie poprawiać wskaźnika wyświetleń wiadomości w każdej kampanii.
Jednak zawsze należy kierować się zdrowym rozsądkiem podczas podejmowania działań na podstawie wyników testu. Jeśli na przykład wysyłasz bardziej poważną lub przygnębiającą wiadomość, użycie emoji może nie być odpowiednie.
Obiecujące
Gdy wyniki są obiecujące, jeden wariant wygląda na lepiej działający niż drugi (inne), ale same wyniki testu nie są jeszcze wystarczająco mocnym dowodem. Obiecujące wyniki nie mają etykiety istotności. W przypadku ukończonego testu alert zaleca powtórzenie testu. Jeśli Wyniki okresu testu są dostępne, szukaj tego alertu właśnie tam. Jeśli w Wynikach ciągłych prowadzi inny wariant, zamiast tego pojawi się alert o zmianie zwycięzcy.
Jeśli wynik jest obiecujący, przeprowadź kolejny podobny test A/B, aby sprawdzić, czy się utrzymuje. Wracając do przykładu z emoji: powtarzające się obiecujące wyniki mogą sugerować pewien wzorzec, ale same w sobie nie potwierdzają istotności statystycznej. Wykorzystaj je jako wskazówkę do dalszych testów, zamiast zakładać, że emoji poprawią każdą kampanię.
W przypadku kampanii wynik testu A/B uznaje się za obiecujący, gdy:
- Każdy wariant ma ponad 50 udanych dostarczeń e-maila lub ponad 50 odbiorców SMS.
- Prawdopodobieństwo wygranej jest większe niż 75%, ale nie większe niż 90%.
Nieistotne statystycznie
Wynik nieistotny statystycznie oznacza, że test nie dostarcza wystarczająco mocnych dowodów na to, że wiodący wariant wypada lepiej. Wariant nadal może zostać wybrany jako zwycięzca, nawet jeśli wynik nie jest istotny statystycznie.
W naszym przykładzie może to oznaczać, że wariant z emoji pokonał wariant(y) bez emoji, ale tylko nieznacznie; zbyt mało, aby wynik testu był miarodajny.
W tym przypadku zalecamy przetestowanie tego czynnika jeszcze 2 lub 3 razy i uważne monitorowanie wyników.
Jeśli nadal widzisz, że wynik testu jest uznawany za statystycznie nieistotny, nie kontynuuj testowania; zamiast tego przejdź do testów A/B na inny temat. Jeśli test należy do tej kategorii, na stronie wyników testu A/B pojawi się etykieta Brak istotności statystycznej.
W przypadku kampanii każdy wariant musi mieć więcej niż 50 udanych dostarczeń e-maili lub więcej niż 50 odbiorców wiadomości SMS, zanim wynik będzie można zaklasyfikować jako niestatystycznie istotny. Gdy to minimum zostanie spełnione, spełnienie dowolnego z tych warunków kwalifikuje:
- Prawdopodobieństwo wygranej wynosi 75% lub mniej, a każdy wariant ma ponad 1 800 udanych dostarczeń e-maili lub ponad 1 800 odbiorców dla SMS.
- Prawdopodobieństwo wygranej jest poniżej 60%, a różnica w metryce wygranej między wiodącym a zajmującym drugie miejsce wariantami wynosi mniej niż cztery punkty procentowe.
Niejednoznaczne
Jeśli test jest nierozstrzygający, nie ma wystarczających informacji, aby określić, czy któryś wariant wypada lepiej. Jeśli którykolwiek wariant ma 50 lub mniej skutecznych dostarczeń w przypadku e-maila lub 50 lub mniej odbiorców w przypadku SMS, wynik jest nierozstrzygający niezależnie od prawdopodobieństwa wygranej. Wyniki, które nie spełniają kryteriów żadnej z pozostałych kategorii, również są nierozstrzygające. Możesz zwizualizować kategorie, korzystając z drzewa decyzyjnego w następnej sekcji. Testy nierozstrzygające nie pokazują etykiety istotności statystycznej na stronie wyników.
W takim przypadku możesz rozszerzyć grono odbiorców na potrzeby kolejnych testów uzupełniających. Jeśli testujesz na małej grupie, interpretuj wyniki tak, jak uznasz za stosowne, i przeprowadź test ponownie, aby upewnić się, że to, co ustaliłeś(-aś), jest trafne. Dodatkowo skup się na poznawaniu swoich subskrybentów innymi sposobami, np. za pomocą ankiet, sondaży itp.
Drzewo decyzyjne istotności statystycznej
Poniższe drzewo decyzyjne pokazuje, kiedy test A/B trafi do każdej kategorii. Zielone linie oznaczają, że odpowiedź brzmi „tak”, a czerwone — „nie”.
Dodatkowe źródła
- Jak przejrzeć wyniki testu A/B w kampaniach
Dowiedz się, jakie dane znajdziesz na stronie wyników testu A/B i co oznacza każdy z tych wskaźników. Informacje w tym przewodniku dotyczą zarówno Testów A/B w przypadku kampanii e-mail, jak i kampanii SMS.
- Najlepsze praktyki dotyczące testów A/B — informacje referencyjne
Poznaj najlepsze praktyki korzystania z funkcji Klaviyo do Testów A/B, aby zoptymalizować komunikację z klientami.
See how to A/B test your emails:
- Jak przeprowadzić test A/B e-maila w sekwencji
Dowiedz się, jak korzystać z funkcji Testów A/B w Klaviyo, aby testować pojedyncze wiadomości e-mail w sekwencji, w tym m.in. temat wiadomości, rabaty i treść wiadomości e-mail itp. Możesz nawet używać Testów A/B, aby ustalić, czy wiadomości e-mail w formacie zwykłego tekstu działają lepiej niż wiadomości e-mail HTML z dużą liczbą obrazów.
- Jak przeprowadzić test A/B kampanii e-mailowej
Dowiedz się, jak skonfigurować i przeprowadzić testy A/B dla kampanii, jak odczytywać wyniki testu oraz poznaj kilka przypadków użycia testów A/B w kampaniach. Funkcje testów A/B w Klaviyo dla kampanii umożliwiają łatwe testowanie różnych tematów wiadomości, treści wiadomości i czasu wysyłki, dzięki czemu lepiej zrozumiesz, co najlepiej działa w przypadku Twoich odbiorców.