Jak przejrzeć wyniki testu A/B w kampaniach

Czego się dowiesz?

Dowiedz się, jakie dane możesz znaleźć na stronie wyników Testów A/B i co oznacza każdy z tych wskaźników. Informacje zawarte w tym przewodniku dotyczą zarówno Testów A/B w przypadku kampanii e-mail, jak i kampanii SMS.

Kampanie Testów A/B mogą dostarczyć Ci wartościowych praktycznych danych o Twoich odbiorcach, ponieważ ułatwiają określenie, jakie zmiany wprowadzić w strategii wysyłek. Nie tylko dowiesz się, który wariant jest zwycięski w teście A/B, ale też poznasz inne ważne czynniki, takie jak prawdopodobieństwo wygranej i szczegóły dotyczące zwycięskiej metryki.

Wyniki testu A/B

Aby zobaczyć wyniki testu A/B:

1. Przejdź do kampanii, którą testujesz.
2. Wybierz kartę Wyniki testu A/B w głównym raporcie kampanii.
   

Przegląd testu

W przypadku standardowego testu A/B sekcja Przegląd testu pokazuje następujące informacje:

• Zwycięski wariant
  Gdy test zostanie ukończony, wariant z najwyższą zwycięską metryką dla wyników, które przeglądasz.
• Status
  Określa, czy test A/B jest w toku (tzn. zbiera analizy) czy zakończony.
• Prawdopodobieństwo wygranej
  Jak bardzo prawdopodobne jest, że zwycięski wariant rzeczywiście miał najwyższy wskaźnik otwarć, kliknięć lub wskaźnik zamówień po uwzględnieniu losowości, oraz czy to prawdopodobieństwo jest uznawane za istotne statystycznie.
• Wzrost
  O ile lepiej zwycięski wariant wypadł w porównaniu z drugim wariantem. Obliczane na podstawie zwycięskiej metryki (tj. wskaźnika wyświetleń wiadomości, wskaźnika kliknięć lub wskaźnika zamówień). W przypadku testów z 3+ wariantami do porównania używa się wariantu z drugim najlepszym wynikiem.
• Zwycięska metryka
  Wyniki zwycięskiego wariantu dla metryki użytej w teście. Na przykład jeśli jako zwycięską metrykę wybrano wskaźnik wyświetleń wiadomości, zostanie wyświetlony procent wskaźnika wyświetleń wiadomości.

Pod tymi wynikami możesz przejrzeć wskaźniki otwarć i wskaźnik kliknięć dla e-maili w każdym wariancie albo wskaźnik kliknięć dla SMS. Tabela pokazuje też wyniki konwersji, gdy dostępna jest metryka konwersji; nie zawsze jest to Złożone zamówienie.

W przypadku zakończonego standardowego testu A/B z grupą testową mniejszą niż pełna liczba odbiorców użyj kart w sekcji Przegląd testu, aby porównać:

• Wyniki okresu testowego pokazują interakcje w okresie testowym wśród odbiorców z grupy testowej.
• Wyniki ciągłe obejmują późniejsze interakcje z tej samej grupy testowej. Wiodący wariant może się zmienić, gdy napływają kolejne wyniki.

Zapoznaj się z poniższym podsumowaniem wysyłki zwycięzcy, aby sprawdzić interakcje ze zwycięskim wariantem wysłanym do pozostałych odbiorców po okresie testowym.

Jak obliczamy lift

Procent wzrostu różni się od procentu wyświetlanego dla Twojego zwycięskiego wariantu. Dzieje się tak, ponieważ procent wyświetlany obok każdego wariantu to odsetek osób, które weszły w interakcję z wiadomością (otworzyły ją, kliknęły lub złożyły zamówienie), natomiast wzrost to procent poprawy, jaką zwycięzca osiągnął w porównaniu z drugim wariantem.

Na przykład, jeśli jako zwycięską metrykę używasz wskaźnika kliknięć, a w wariancie A 5/100 (5%) odbiorców klika, a w wariancie B 4/100 (4%) odbiorców klika, różnica wynosi 1 punkt procentowy. Wzrost porównuje tę różnicę ze wskaźnikiem kliknięć wariantu B: (5% − 4%) / 4% × 100 = 25%. Wariant A ma zatem wskaźnik kliknięć na poziomie 5% oraz wzrost o 25% w porównaniu z wariantem B.

Wyniki spersonalizowanych wariantów

Jeśli wybrałeś(-aś) Spersonalizowane warianty dla każdego odbiorcy, po zakończeniu testu wybierz Wyniki okresu testowego, aby zobaczyć następujące metryki:

• Całkowity wzrost w teście A/B
  Szacowana poprawa dzięki spersonalizowanym wariantom w porównaniu z drugim najlepszym wariantem w standardowym teście A/B, na podstawie zwycięskiej metryki (wskaźnika wyświetleń wiadomości lub wskaźnika kliknięć).
• Wzrost dzięki personalizacji
  Szacowany wzrost wynikający ze spersonalizowanych wariantów w porównaniu z wysłaniem wszystkim zwycięskiego wariantu ze standardowego testu A/B.
• Wskaźnik wyświetleń wiadomości dla Personalizacji lub wskaźnik kliknięć dla Personalizacji
  Szacowany wskaźnik wyświetleń wiadomości lub wskaźnik kliknięć dla spersonalizowanych wariantów na podstawie odbiorców testu, którzy otrzymali wariant, który według przewidywań Klaviyo mieli preferować. Wyświetlana metryka zależy od wybranej przez Ciebie metryki zwycięskiej.
• Charakterystyka profilu uzyskana dzięki Klaviyo AI
  Charakterystyka związana z odbiorcami, którzy z większym prawdopodobieństwem wchodzili w interakcję z konkretnym wariantem. Rozwiń każdy wariant, aby zobaczyć jego charakterystykę, która może się różnić między wariantami.

Sprawdź podsumowanie spersonalizowanej wysyłki pod kątem interakcji ze spersonalizowanymi wariantami wysłanymi po okresie testowym.

Zrozumienie prawdopodobieństwa wygranej i istotności statystycznej

Załóżmy na przykład, że chcesz sprawdzić, czy dodanie emoji do tematu wiadomości wpływa na wskaźnik wyświetleń wiadomości na liście e-mailowej. Jeśli wyślesz test tylko do 2 subskrybentów i emoji mają lepszy wskaźnik wyświetleń wiadomości, nie możesz jednoznacznie stwierdzić, że reszta listy e-mailowej będzie reagować tak samo. Jeśli zamiast tego przetestujesz to na 100 osobach z listy e-mailowej i okaże się, że emoji mają znacząco wyższy wskaźnik wyświetleń wiadomości, będziesz mieć znacznie większą pewność, że używanie emoji w temacie wiadomości jest lepsze dla odbiorców.

W sekcji Prawdopodobieństwo wygranej ukończony standardowy test A/B może wyświetlać etykietę istotności statystycznej. Wynik jest istotny statystycznie, gdy prawdopodobieństwo wygranej przekracza 90% i każdy wariant ma ponad 50 udanych dostarczeń e-maili lub prób dostarczenia SMS. Test może też mieć obiecujące wyniki, być nierozstrzygający lub nie być istotny statystycznie. W przypadku obiecujących wyników powtórz test, aby potwierdzić wniosek. Nierozstrzygające wyniki nie pokazują etykiety istotności. Dowiedz się więcej o istotności statystycznej w Klaviyo.

Dodatkowe źródła