Zrozumienie istotności statystycznej w sekwencji

Czego się dowiesz

Dowiedz się, kiedy wyniki testu A/B są uznawane za statystycznie istotne w Klaviyo sekwencja. W tym artykule wyjaśniono znaczenie statystyczne dla sekwencji i kiedy się o nim decyduje.

Istotność statystyczna ma miejsce wtedy, gdy Klaviyo jest w stanie matematycznie określić, czy dany wariant zapewni lepszą wydajność. Możesz skonfigurować test sekwencji A/B tak, aby automatycznie wybierał zwycięski wariant, gdy wyniki testu zostaną uznane za statystycznie istotne.

Testy A/B są kluczem do lepszego zaangażowania i poprawy relacji z klientami dzięki podejściu opartemu na danych. Ważne jest, aby zrozumieć, czy test można uznać za istotny statystycznie, czy nie. Na przykład, jeśli sekwencja e-mail ma 2 warianty, a wariant A ma wskaźnik kliknięć równy 15%, podczas gdy wariant B ma wskaźnik kliknięć równy 14%, skąd możesz mieć pewność, że wariant A lub B wypadł lepiej?

Jak Klaviyo określa istotność statystyczną w sekwencji

W przypadku sekwencji Klaviyo obserwuje zarówno liczbę osób, które otrzymały wiadomość, jak i prawdopodobieństwo wygranej, czyli prawdopodobieństwo, że wariant przyniesie lepsze wyniki w oparciu o to, jak dobrze przewyższa inne warianty.

Wariant sekwencji wiadomości jest uznawany za statystycznie istotny, gdy:

• Co najmniej 500 odbiorców otrzymało każdy wariant.
• Wariant ma co najmniej 90% prawdopodobieństwo wygranej.

Prawdopodobieństwo wygranej jest obliczane na podstawie metryki wybranej podczas konfigurowania testu A/B. Domyślnie ta metryka jest wskaźnikiem kliknięć testowanej wiadomości. W sekcji Automatyczny wybór zwycięzcy masz możliwość automatycznego zakończenia testu po określeniu wariantu wiadomości, który wygra na podstawie skonfigurowanej metryki, a także opcję zakończenia testu po dotarciu określonej daty. Możesz wybrać jedną lub obie te opcje. W przypadku wybrania obu opcji test zakończy się w zależności od tego, co zostanie osiągnięte jako pierwsze, istotność statystyczna czy określona data.

Aby uzyskać więcej informacji, zapoznaj się z naszym artykułem na temat testowania A/B wiadomości e-mail.

Podczas przeglądania wyników aktualnie uruchomionego testu, zobaczysz prawdopodobieństwo wygranej na prawym pasku bocznym szczegółów w sekcji testu A/B. Tutaj dowiesz się, czy wyniki testu są statystycznie istotne i który wariant prawdopodobnie osiągnie lepsze wyniki.

Aby uzyskać więcej informacji, zapoznaj się z naszym artykułem na temat przeglądania wyników testów A/B dla sekwencji e-mail.

Dodatkowe źródła

Przejdź na stronę płatności przejść do kasy nasz artykuł na temat najlepszych praktyk dla Testy A/B. 

Dowiedz się więcej o innych testach A/B, które możesz przeprowadzić:

• Jak testować sekwencję e-mail A/B
• Jak przetestować kampanię e-mail
• Jak testować A/B formularz rejestracyjny