Jak przejrzeć wyniki testu A/B w kampaniach
Czego się dowiesz?
Dowiedz się, jakie dane znajdziesz na stronie wyników testu A/B i co oznacza każdy z tych wskaźników. Informacje w tym przewodniku dotyczą zarówno Testów A/B w przypadku kampanii e-mail, jak i kampanii SMS.
Kampanie z testami A/B mogą dostarczać praktyczne dane na temat odbiorców, ułatwiając określenie, jakie zmiany wprowadzić w strategii wysyłki. Poznasz nie tylko zwycięski wariant testu A/B, ale także inne ważne czynniki, takie jak procent ufności zwycięstwa i szczegóły zwycięskiej metryki.
Wyniki testu A/B
Aby zobaczyć wyniki testu A/B:
- Przejdź do kampanii, którą testujesz.
- Wybierz kartę Wyniki testu A/B w głównym raporcie kampanii.
Przegląd testu
W sekcji Wyniki testu zobaczysz podsumowanie zawierające:
- Zwycięski wariant
Po zakończeniu testu wariant, który wygrał. - Status
Określa, czy test A/B jest w toku (tzn. zbiera analizy) czy zakończony. - Prawdopodobieństwo wygranej
Jak bardzo prawdopodobne jest, że zwycięski wariant rzeczywiście miał najwyższy wskaźnik otwarć, kliknięć lub wskaźnik zamówień po uwzględnieniu losowości, oraz czy to prawdopodobieństwo jest uznawane za istotne statystycznie. - Wzrost
O ile lepiej zwycięski wariant wypadł w porównaniu z drugim wariantem. Obliczane na podstawie zwycięskiej metryki (tj. wskaźnika wyświetleń wiadomości, wskaźnika kliknięć lub wskaźnika zamówień). W przypadku testów z 3+ wariantami do porównania używa się wariantu z drugim najlepszym wynikiem. - Zwycięska metryka
Wyniki zwycięskiego wariantu dla metryki użytej w teście. Na przykład jeśli jako zwycięską metrykę wybrano wskaźnik wyświetleń wiadomości, zostanie wyświetlony procent wskaźnika wyświetleń wiadomości.
Poniżej tych wyników możesz sprawdzić wskaźniki otwarć, kliknięć i wskaźniki zamówień dla każdego wariantu w teście.
Jak obliczamy lift
Procent wzrostu różni się od procentu pokazywanego dla zwycięskiego wariantu. Wynika to z tego, że procent pokazywany obok każdego wariantu to odsetek osób, które weszły w interakcję z e-mailem (otwarcie, kliknięcie, złożenie zamówienia), natomiast wzrost to procent poprawy, jaki zwycięzca osiągnął w porównaniu z pozostałym wariantem.
Na przykład, jeśli używasz wskaźnika kliknięć jako metryki wygranej, a w wariancie A 5/100 (5%) odbiorców klika, a w wariancie B 4/100 (4%) odbiorców klika, różnica między wariantami wynosi 1 kliknięcie. Oznacza to, że wzrost wyniósł 1/5 (20%). Innymi słowy, wzrost wyniósł 20%: wariant A ma wskaźnik kliknięć na poziomie 5%, a wariant B na poziomie 4%.
Wyniki spersonalizowanych wariantów
Opcja wyboru strategii testowania jest dostępna tylko dla kont z ponad 400 000 profilami łącznie. Jeśli konto się nie kwalifikuje, Klaviyo zastosuje strategię testowania zwycięskiego wariantu.
Jeśli wybrano opcję personalizowania wariantów dla każdego odbiorcy, na stronie wyników testu będą widoczne nieco inne metryki, w tym następujące:
- Łączny wzrost w teście A/B
O ile lepiej poradził sobie najlepszy wariant w porównaniu z drugim najlepszym wariantem. Obliczane na podstawie zwycięskiej metryki (np. wskaźnika wyświetleń wiadomości lub wskaźnika kliknięć). - Wzrost dzięki personalizacji
Procent tego, o ile bardziej udany był test spersonalizowany w porównaniu ze standardowym testem A/B. - Wskaźnik kliknięć personalizacji
Średni wskaźnik kliknięć we wszystkich wariantach profili, które otrzymały preferowany wariant. - Cechy profilu określone przez Klaviyo AI
Lista danych używanych przez AI do określenia wzorca wśród profili, które preferowały konkretny wariant, tj. jakie czynniki prawdopodobnie spowodowały, że ktoś preferował jeden wariant zamiast drugiego. Kliknij każdy wariant, aby zobaczyć użyte dane, ponieważ będą się one różnić w zależności od wariantu.
Zrozumienie pewności zwycięstwa i istotności statystycznej
Załóżmy na przykład, że chcesz sprawdzić, czy dodanie emoji do tematu wiadomości wpływa na wskaźnik wyświetleń wiadomości na liście e-mailowej. Jeśli wyślesz test tylko do 2 subskrybentów i emoji mają lepszy wskaźnik wyświetleń wiadomości, nie możesz jednoznacznie stwierdzić, że reszta listy e-mailowej będzie reagować tak samo. Jeśli zamiast tego przetestujesz to na 100 osobach z listy e-mailowej i okaże się, że emoji mają znacząco wyższy wskaźnik wyświetleń wiadomości, będziesz mieć znacznie większą pewność, że używanie emoji w temacie wiadomości jest lepsze dla odbiorców.
W sekcji Prawdopodobieństwo wygranej zobaczysz, czy pokazany wariant jest istotny statystycznie. Jeśli zostanie uznany za istotny, oznacza to, że wariant ma wysokie prawdopodobieństwo wygranej (tj. 90% lub więcej). Test może być też obiecujący, niejednoznaczny lub nieistotny statystycznie. Dowiedz się więcej o istotności statystycznej w Klaviyo.