Jak sprawdzić wyniki testów A/B dla kampanie

Czego się dowiesz

Dowiedz się, jakie dane można znaleźć na stronie wyników testów A/B i co oznaczają poszczególne wskaźniki. Informacje zawarte w tym przewodniku dotyczą zarówno Testy A/B z kampaniami e-mailowymi, jak i SMS kampanie.

Testy A/B kampanie mogą dostarczyć cennych ukrytych potrzeb praktyczne dane na temat Twoich odbiorców, ułatwiając określenie, jakie zmiany należy wprowadzić w strategii wysyłania. Poznasz nie tylko zwycięski wariant testu A/B, ale także inne ważne czynniki, takie jak procent pewności wygranej i szczegóły zwycięskiej metryki.

Wyniki testu A/B

Aby zobaczyć wyniki testu A/B: 

1. Przejdź do testowanej kampanii.
2. Wybierz zakładkę Wyniki testów A/B w głównym raporcie kampanii.
   

Przegląd testu

W sekcji Wyniki testu zobaczysz migawkę z następującymi informacjami:

• Zwycięski wariant
  Po zakończeniu testu, wariant, który wygrał. 
• Status
  Czy test A/B jest w toku (tj. zbieranie danych analitycznych) czy zakończony.
• Prawdopodobieństwo wygranej
  Jakie jest prawdopodobieństwo, że zwycięski wariant rzeczywiście miał najwyższy wskaźnik otwarć, kliknięć lub umieszczonych zamówień po uwzględnieniu losowej szansy na koncie i czy prawdopodobieństwo to jest uważane za statystycznie istotne.
• Podnieś
  O ile lepiej wypadł zwycięski wariant w porównaniu z drugim wariantem. Obliczony na podstawie zwycięskiej metryki (tj. wskaźnika wyświetleń wiadomości, wskaźnika kliknięć lub umieszczonego wskaźnika zamówień). W przypadku testów z ponad 3 wariantami do porównania używany jest drugi pod względem wydajności test.
• Zwycięska metryka
  Wyniki zwycięskiego wariantu dla metryki, która została użyta do testu. Na przykład, jeśli wskaźnik wyświetleń wiadomości został wybrany jako zwycięska metryka, wyświetlony zostanie procentowy wskaźnik wyświetleń wiadomości.

Poniżej tych wyników możesz przejrzeć wskaźnik otwartych, klikniętych i umieszczonych zamówień dla każdego wariantu w teście.

Jak obliczana jest wysokość podnoszenia

Procent zniesienia jest inny niż procent pokazany dla twojego zwycięskiego wariantu. Wynika to z faktu, że procent wyświetlany obok każdego wariantu to procent osób, które weszły w interakcję z e-mailem (otworzyły, kliknęły, złożyły zamówienie), podczas gdy wzrost to procent poprawy, jaką zwycięzca uzyskał w stosunku do innego wariantu.

Na przykład, jeśli używasz wskaźnika kliknięć jako zwycięskiej metryki i wariant A ma 5/100 (5%) kliknięć odbiorcy, a wariant B ma 4/100 (4%) kliknięć odbiorcy, różnica między wariantami wynosi 1 kliknięcie. Oznacza to, że udźwig wynosił 1/5 (20%). Innymi słowy, wyciąg wynosił 20%, przy czym wariant A miał 5% wskaźnik kliknięć, a wariant B 4% wskaźnik kliknięć.

Spersonalizowane wyniki wariantów

Jeśli wybrałeś opcję personalizacji wariantu dla każdego odbiorcy, zobaczysz nieco inne metryki na stronie wyników testu, w tym następujące:

• Całkowity wzrost w testach A/B
  O ile lepiej wypadł najlepszy wariant w porównaniu z drugim najlepszym wariantem. Obliczony na podstawie zwycięskiej metryki (tj. wskaźnika wyświetleń wiadomości lub wskaźnika kliknięć).
• Wzrost personalizacji
  Procentowy wzrost skuteczności spersonalizowanego testu w porównaniu ze standardowym testem A/B.
• Personalizacja wskaźnik kliknięć
  Średni wskaźnik kliknięć wśród wszystkich wariantów profilu, które otrzymały preferowany wariant.
• cechy profilu uzyskane przez Klaviyo AI
  Lista danych wykorzystywanych przez sztuczną inteligencję do określenia wzorca wśród profili, które preferowały określony wariant, tj. jakie czynniki prawdopodobnie spowodowały, że ktoś preferował jeden wariant nad drugim. Kliknij na każdy wariant, aby zobaczyć używane dane, ponieważ będą się one różnić w zależności od wariantu.

Zrozumienie pewności wygranej i istotności statystycznej

Załóżmy na przykład, że chcesz sprawdzić, czy dodanie emotikonów do tematu wiadomości wpływa na wskaźnik wyświetleń wiadomości na liście e-mailowej. Jeśli wyślesz test tylko do 2 subskrybentów i emoji mają lepszy wskaźnik wyświetleń wiadomości, nie możesz jednoznacznie stwierdzić, że reszta Twojej listy e-mailowej będzie miała takie same odczucia. Jeśli zamiast tego przetestowałbyś 100 osób na swojej liście e-mailowej i odkrył, że emoji mają znacznie wyższy wskaźnik wyświetleń wiadomości, czułbyś się znacznie pewniej, że używanie emoji w temacie wiadomości jest lepsze dla twoich odbiorców.

W sekcji Prawdopodobieństwo wygranej zobaczysz, czy pokazany wariant jest istotny statystycznie. Jeśli zostanie uznany za znaczący, oznacza to, że wariant ma wysokie prawdopodobieństwo wygranej (tj. 90% lub wyższe). Test może być również obiecujący, niejednoznaczny lub nieistotny statystycznie. Dowiedz się więcej o istotności statystycznej w Klaviyo.

Dodatkowe źródła

• Najlepsze praktyki dla Testy A/B
• Jak testować A/B formularz rejestracyjny
• Jak testować A/B indywidualną sekwencję e-mail
• Jak przetestować kampanię e-mail