Zrozumienie istotności statystycznej w przypadku formularzy rejestracyjnych
Czego się dowiesz?
Dowiedz się, kiedy wyniki testu A/B są uznawane za istotne statystycznie w formularzach rejestracyjnych Klaviyo. W tym przewodniku wyjaśnimy istotność statystyczną dla formularzy rejestracyjnych oraz kiedy jest ona ustalana.
Klaviyo uznaje, że test A/B osiągnął istotność statystyczną, gdy 1 wariant matematycznie udowodni, że działa lepiej niż inny. Możesz skonfigurować test A/B tak, aby automatycznie wybrał zwycięski wariant formularza i zakończył się, gdy wyniki testu zostaną uznane za istotne statystycznie.
Testy A/B pozwalają mierzyć, jak działają różne elementy formularzy, aby mieć pewność, że dobrze trafiają do odwiedzających witrynę i zwiększają zaangażowanie. Ważne jest, aby zrozumieć, czy test można uznać za statystycznie istotny, aby skutecznie analizować wyniki i określać, jakie ulepszenia wprowadzić. Jeśli wyniki testu nie są statystycznie istotne, trudniej potwierdzić, że dany wariant przełoży się na lepsze wyniki na większą skalę.
Jak Klaviyo określa istotność statystyczną w przypadku formularzy
Aby osiągnąć istotność statystyczną, test A/B formularza rejestracyjnego musi spełniać następujące warunki:
- Minimalne prawdopodobieństwo wygranej na poziomie 90% dla wiodącego wariantu
- Co najmniej 1000 wyświetleń formularza na wariant
Poniżej znajdziesz bardziej szczegółowe wyjaśnienie, jak Klaviyo bierze pod uwagę każdy z tych czynników.
- Prawdopodobieństwo wygranej wiodącego wariantu
- Jest to prawdopodobieństwo, że wskaźnik wypełnień formularza dla wiodącego wariantu jest naprawdę wyższy niż wskaźnik wypełnień formularza dla wszystkich pozostałych wariantów. Wysokie prawdopodobieństwo wygranej oznacza, że istnieją mocne dowody na to, że wiodący wariant wygra, ponieważ formularz jest lepszy, a nie przez zwykły przypadek.
- Wyświetlenia formularza
- Formularz musi zebrać odpowiednio dużą liczbę wyświetleń, aby wyniki nie były zniekształcone przez anomalie z wczesnej fazy testu.
Zakończenie testu A/B po osiągnięciu istotności statystycznej
W ustawieniu Wybór zwycięzcy możesz skonfigurować test tak, aby zakończył się automatycznie, gdy 1 wariant przewyższa pozostałe na poziomie istotnym statystycznie, lub gdy osiągnie określoną datę. Możesz też zaznaczyć oba pola, aby zakończyć test, gdy zostanie spełniony 1 z 2 warunków (co oznacza, że test albo osiągnie istotność statystyczną, albo dojdzie do daty zakończenia).
Alternatywnie, jeśli zdecydujesz się zakończyć test ręcznie, odznaczając oba pola w sekcji Wybór zwycięzcy, musisz samodzielnie monitorować wyniki oraz ręcznie wybrać zarówno zwycięzcę, jak i datę zakończenia.
Podczas przeglądania wyników trwającego testu możesz monitorować prawdopodobieństwo wygranej, a także aktualne dane dla każdego wariantu w menu Przegląd na karcie Wyniki testu A/B.
Więcej szczegółów znajdziesz w naszym przewodniku dotyczącym przeglądania wyników testów A/B.
Dodatkowe źródła
- How to A/B test a sign-up form
Learn how to use A/B testing to evaluate the performance of various elements of your sign-up forms. By effectively analyzing the results, you can ensure that your forms resonate with site visitors and contribute to list growth.
- Best practices for A/B testing reference
Learn best practices for using Klaviyo's A/B testing features to help optimize your communication with customers.
- Understanding sign-up form analytics
Learn how to analyze your sign-up forms' performance so you can iterate and optimize based on knowledge of areas you excel in and areas where you can improve. This guide will help you gain a better understanding of your sign-up form analytics and each of the available reporting pages (i.e., Overview tab and A/B test results tab).