Zrozumienie istotności statystycznej w sekwencjach
Dowiedz się, kiedy wyniki testu A/B są uznawane za istotne statystycznie w sekwencjach Klaviyo. W tym artykule wyjaśnimy istotność statystyczną w przypadku sekwencji i kiedy jest ona ustalana.
Istotność statystyczna oznacza, że Klaviyo jest w stanie matematycznie określić, czy wariant zapewni lepsze wyniki. Można skonfigurować test A/B sekwencji tak, aby automatycznie wybrał zwycięski wariant, gdy wyniki testu zostaną uznane za istotne statystycznie.
Testy A/B są kluczowe dla zwiększania zaangażowania i poprawy relacji z klientami dzięki podejściu opartemu na danych. Ważne jest, aby zrozumieć, czy test można uznać za istotny statystycznie, czy nie. Na przykład: jeśli e-mail w sekwencji ma 2 warianty, a wariant A ma wskaźnik kliknięć na poziomie 15%, podczas gdy wariant B ma wskaźnik kliknięć na poziomie 14%, skąd mieć pewność, czy lepiej wypadł wariant A czy B?
Jak Klaviyo określa istotność statystyczną w sekwencjach
W przypadku sekwencji Klaviyo obserwuje zarówno liczbę osób, które otrzymały wiadomość, jak i prawdopodobieństwo wygranej, czyli to, jak bardzo prawdopodobne jest, że wariant przyniesie lepsze wyniki na podstawie tego, jak dobrze wypada na tle pozostałych wariantów.
Wariant wiadomości w sekwencji jest uznawany za istotny statystycznie, gdy:
- Co najmniej 500 odbiorców otrzymało każdy wariant.
- Wariant ma co najmniej 90% prawdopodobieństwa wygranej.
- Najważniejsze warianty są wyraźnie rozdzielone: wyświetlamy istotność statystyczną tylko wtedy, gdy prawdopodobne zakresy wyników wiodącego wariantu i wariantu na drugim miejscu mają zbyt mało nakładania się (<10% nakładania się w przedziałach wiarygodności)
Prawdopodobieństwo wygranej jest obliczane na podstawie metryki wybranej podczas konfigurowania testu A/B. Domyślnie tą metryką jest wskaźnik kliknięć wiadomości, którą testujesz. W sekcji Automatyczny wybór zwycięzcy możesz automatycznie zakończyć test, gdy na podstawie skonfigurowanej metryki zostanie określony zwycięski wariant wiadomości, a także zakończyć test po osiągnięciu określonej daty. Możesz wybrać jedną lub obie opcje. Jeśli wybierzesz obie opcje, test zakończy się w zależności od tego, co nastąpi wcześniej: istotność statystyczna lub określona data.
Więcej szczegółów znajdziesz w naszym artykule: jak wykonać test A/B e-maila w sekwencji.
Podczas przeglądania wyników aktualnie trwającego lub zakończonego testu zobaczysz prawdopodobieństwo wygranej w sekcji Test A/B. Tutaj zobaczysz, czy wyniki testu są istotne statystycznie i który wariant prawdopodobnie będzie działać lepiej.
Aby dowiedzieć się więcej, zapoznaj się z naszym artykułem: jak sprawdzać wyniki testów A/B wiadomości e-mail w sekwencjach.