Czego się dowiesz?

Dowiedz się, jak używać ogólnych grup kontrolnych, aby zrozumieć wpływ i skuteczność swoich działań marketingowych. Ogólne grupy kontrolne umożliwiają wykluczenie określonej liczby profili z komunikacji, aby określić przyrostowy sukces programu marketingowego. Te grupy kontrolne pozwalają porównywać, a następnie analizować wartość bazową programów marketingowych, a także sposoby ciągłej optymalizacji tych strategii.

Kilka słów na początek

Aby zakwalifikować się do grup kontrolnych, musisz mieć co najmniej 400 000 profili (pamiętaj, że chodzi o łączną liczbę profili). Dzięki temu Klaviyo ma wystarczająco dużo danych profilu, aby porównać grupę kontrolną z innymi profilami otrzymującymi działania marketingowe. Dodatkowo zalecamy uruchomienie grup kontrolnych na 3 miesiące, aby zebrać wystarczającą ilość danych.

Dowiedz się więcej o tym, kiedy używać lub kiedy nie używać grup kontrolnych.

Właściwe korzystanie z grup kontrolnych

Jak korzystać z grup kontrolnych

Grupy kontrolne należy stosować, gdy chcesz przetestować skuteczność swoich programów marketingowych oraz potencjalnie wszelkich zmian, które możesz wprowadzić w tych strategiach. Grupy kontrolne są pomocne, ponieważ zapewniają wyraźne porównanie pokazujące wpływ Twoich strategii marketingowych, ponieważ nie otrzymują od Ciebie żadnej komunikacji.

Na przykład warto rozważyć użycie grup kontrolnych, jeśli chcesz ustalić:

  • Jasna wartość i wpływ całego programu marketingowego w odniesieniu do kosztów.
  • Podczas wprowadzania zmian w programie marketingowym (np. dodawania nowego kanału) wartość powiązana z tymi przyrostowymi zmianami.
  • Jeśli niektóre działania marketingowe są w rzeczywistości szkodliwe, przynoszą negatywne wyniki i trzeba je dostosować (np. zbyt wiele sekwencji w niewłaściwych momentach dla klientów).

Dodatkowe czynniki do rozważenia w przypadku grup kontrolnych

Ważne jest, aby rozważyć czas i sposób zastosowania grup kontrolnych.

Ponieważ osoby w grupie kontrolnej są wstrzymywane przed otrzymywaniem jakichkolwiek e-maili, SMS-ów i powiadomień push wysyłanych za pośrednictwem kampanii lub sekwencji, warto wziąć pod uwagę następujące czynniki:

  • Jednocześnie możesz mieć tylko jedną aktywną grupę kontrolną, aby używać jej do porównywania z Twoimi programami marketingowymi.
  • Grupa kontrolna dotyczy wszystkich kanałów używanych w kampanii lub sekwencji; nie można jej włączyć dla jednego konkretnego kanału zamiast innego.
  • Grupa kontrolna nie zakłóca innych ważnych sezonowych wydarzeń lub okresów w e-commerce (np. Czarny Piątek Cyber Monday).
  • Jakie wiadomości ci użytkownicy, nawet w grupie kontrolnej, powinni zawsze otrzymywać. Dowiedz się więcej o zastępowaniu wiadomości.

Grupy kontrolne a testy A/B

Grupa kontrolna ma inną naturę niż Testy A/B i nie należy mylić tych dwóch funkcji. Grupa kontrolna pozwala zrozumieć wpływ komunikacji marketingowej, ponieważ do grupy odbiorców nic nie jest wysyłane. Z kolei Testy A/B pozwalają porównać 2 lub więcej wersji komunikacji marketingowej. Na przykład możesz porównać 2 wersje kampanii e-mail.

Tworzenie grupy kontrolnej

  1. Aby utworzyć grupę kontrolną, przejdź do Analityka > Eksperymenty i kliknij kartę Eksperymenty globalne.

Uwaga: jeśli nie możesz uzyskać dostępu do tej strony, nie masz wymaganych ponad 400 tys. profili potrzebnych do zakwalifikowania się. Dodatkowo tylko właściciele, administratorzy i menedżerowie mogą tworzyć grupy kontrolne.

2. Kliknij Utwórz test.

create test.jpg
create test.jpg

Następnie przejdziesz przez serię kroków, aby skonfigurować i dostosować grupę kontrolną.

3. Użyj pola po lewej stronie, aby dodać liczbę oznaczającą procent profili do celów marketingowych, które chcesz umieścić w grupie kontrolnej. Gdy zaktualizujesz procent w polu, wartość liczbowa zaktualizuje łączną liczbę po prawej stronie. W tym polu używaj tylko liczb (do 2 miejsc po przecinku).

Zaleca się wykorzystanie około 5% wszystkich profili marketingowych do stworzenia grupy kontrolnej. Po zakończeniu procesu konfiguracji wybranego procentu grupy kontrolnej nie można już zmienić. Warto jednak pamiętać, że grupa kontrolna będzie się powiększała wraz z rozwojem Twojej firmy i listy subskrybentów zgodnie z ustawionym wcześniej procentem.

4. Gdy uznasz, że uzyskany odsetek jest satysfakcjonujący, kliknij Kontynuuj.

holdout_size.png
holdout_size.png

5. Domyślnie Twoja grupa kontrolna rozpocznie się z dzisiejszą datą, ale będzie można wybrać datę zakończenia. Kliknij pole Wybierz datę, aby wyświetlić widżet kalendarza. Kliknij datę w kalendarzu, aby wybrać datę zakończenia.

Zaleca się utrzymywanie grupy kontrolnej przez 3 miesiące, aby zebrać wystarczającą ilość danych.

start and end date.jpg
start and end date.jpg

Możesz też dopilnować, aby pewne sekwencje uznane za niezbędne nadal były odbierane przez profile z Twojej grupy kontrolnej. Aby to zrobić, zastąpisz reguły grupy kontrolnej dla określonej sekwencji (określonych sekwencji). Na przykład wiele sekwencji powitalnych może być na tyle ważnych, że powinny nadal trafiać do klientów z Twojej grupy wstrzymania kontrolnego, a więc należy je nadpisać.

Ten kolejny krok jest opcjonalny i nie jest wymagany, aby zastąpić określone sekwencje. Zaleca się jednak, aby zastanowić się, które wiadomości są ważne dla doświadczeń odbiorców związanych z Twoją marką, i w razie potrzeby rozważyć użycie zastępowania. Pamiętaj, że wiadomości transakcyjne (np. potwierdzenia zamówień) zawsze będą respektowane i zastępowane, tak aby otrzymywała je Twoja grupa kontrolna.
Możesz też pominąć niektóre kampanie lub nawet zdecydować się na pominięcie sekwencji w późniejszym terminie, wykonując dodatkowe kroki poza tym kreatorem konfiguracji. Wykonaj kolejne kroki poniżej, aby dokończyć konfigurację, a następnie przejrzyj sekcje tego przewodnika dotyczące zastępowania kampanii lub sekwencji, aby uzyskać więcej informacji.
Dodatkowo zastępowanie niektórych wiadomości tak, aby otrzymywały je Twoje grupy kontrolne, wpłynie na analitykę grup kontrolnych. Możesz zauważyć spadek ogólnego wzrostu marketingowego, ponieważ grupa kontrolna nadal otrzymuje część komunikacji.

6. Aby upewnić się, że profile nadal otrzymują określone sekwencje, wyszukaj je według nazwy w polu Wyszukaj sekwencje po lewej stronie. Możesz też zawęzić wyszukiwanie określonej sekwencji, otwierając listę rozwijaną Wybierz znaczniki i wybierając z niej określone znaczniki.

field and tags flow lookup.jpg
field and tags flow lookup.jpg

Można też zawęzić wyszukiwanie konkretnej sekwencji, otwierając menu rozwijane Wszystkie i wybierając sekwencja powitalna lub sekwencja porzuconego przeglądania. Wybierając jedną z tych opcji, poniżej będą wyświetlane tylko te typy sekwencji.

welcomes series dropdown.jpg
welcomes series dropdown.jpg

Na koniec możesz wybrać wyszukiwanie sekwencji na podstawie statusu (Na żywo, Ręcznie, Wersja robocza). Otwórz menu Wszystkie statusy i wybierz jedną z opcji; spowoduje to zawężenie listy poniżej.

status dropdown.jpg
status dropdown.jpg

7. Gdy znajdziesz sekwencję(-e), które chcesz zastąpić (tzn. profile będą otrzymywać te sekwencje), zaznacz pole wyboru obok każdej z odpowiednich sekwencji i kliknij Przejrzyj.

selected flow override.jpg
selected flow override.jpg

Jeśli nie chcesz wybierać żadnych elementów do zastąpienia, kliknij Pomiń.

8. Na karcie Szczegóły przejrzyj ustawienia, w tym daty rozpoczęcia i zakończenia oraz odsetek profili możliwych do wykorzystania marketingowo w grupie kontrolnej wstrzymania kontrolnego.

review test, details tab.jpg
review test, details tab.jpg

9. Kliknij kartę Zastąpione sekwencje, aby sprawdzić wszystkie sekwencje, które nadal będą wysyłane do profili z grupy kontrolnej wstrzymania kontrolnego, jak pokazano w poniższym przykładzie.

overriden flows.jpg
overriden flows.jpg

10. Jeśli chcesz wprowadzić zmiany, kliknij Wstecz. W przeciwnym razie kliknij Rozpocznij test, jeśli wszystko jest gotowe, aby grupa kontrolna była aktywna.

Edytowanie lub kończenie grupy kontrolnej

Jeśli skonfigurowano grupę kontrolną i chcesz edytować określone ustawienia (np. nazwę lub datę zakończenia) albo zakończyć test grupy wcześniej, przejdź do Analityka > Eksperymenty > Globalne eksperymenty.

Tutaj znajdziesz kartę globalnego wstrzymania kontrolnego (będzie to karta z danymi nad kartą historii).

Holdout group_experiment_klaviyo.png
Holdout group_experiment_klaviyo.png

Edytowanie aktywnej grupy kontrolnej

  1. Jeśli chcesz edytować nazwę grupy kontrolnej lub datę zakończenia, kliknij menu z 3 kropkami w prawym górnym rogu karty.
three dot menu.jpg
three dot menu.jpg

2. W menu wybierz Edytuj szczegóły.

3. Tutaj możesz edytować nazwę grupy kontrolnej w polu Edytuj nazwę testu. Możesz też dostosować datę zakończenia, klikając pole Zmień datę zakończenia testu i wybierając nową datę z widżetu kalendarza.

edit account holdout details.jpg
edit account holdout details.jpg

4. Gdy skończysz wprowadzać zmiany, kliknij Zapisz.

Zakończenie testu aktywnej grupy kontrolnej

Jeśli zechcesz zakończyć test wcześniej, możesz to również zrobić za pomocą tej karty.

Pamiętaj, że wcześniejsze zakończenie testu może skutkować niewystarczającymi lub zniekształconymi danymi.

  1. Kliknij menu z 3 kropkami w prawym górnym rogu karty.
three dot menu.jpg
three dot menu.jpg

2. Wybierz z menu opcję Zakończ test.

3. Następnie pojawi się okno modalne z prośbą o potwierdzenie, czy chcesz zakończyć test i ponownie zacząć wysyłać wszystkie wiadomości marketingowe do grupy kontrolnej. Aby potwierdzić, kliknij Zakończ test. W przeciwnym razie kliknij Anuluj, aby uniknąć wykonania tej czynności.

end test modal.jpg
end test modal.jpg

Przeglądanie wyjątków dla sekwencji

  1. Jeśli chcesz sprawdzić, które sekwencje mogły zostać zastąpione dla grupy kontrolnej, kliknij menu z 3 kropkami w prawym górnym rogu tej karty.
three dot menu.jpg
three dot menu.jpg

2. Z menu wybierz Aktywne nadpisania.

3. Przejrzyj ustawione zastąpienia sekwencji, które wybrano dla tej grupy kontrolnej wstrzymania kontrolnego, jeśli dotyczy.

Jeśli chcesz dodać dodatkowe sekwencje z zastąpieniami, musisz dodać je ręcznie.

holdout group exaple settings.jpg
holdout group exaple settings.jpg

Zastępowanie dodatkowych sekwencji

Po przejściu przez początkową konfigurację grupy kontrolnej możesz stwierdzić, że chcesz dodać więcej sekwencji z wstrzymaniem kontrolnym. Innymi słowy, możesz mieć inne sekwencje, które chcesz udostępnić swojej grupie kontrolnej.

Nadpisywanie jest ustawiane na poziomie głównej sekwencji, a profile będą otrzymywać wszystkie elementy tej sekwencji jak zwykle. Jeśli uruchamiasz sekwencję z testami A/B, wszystkie warianty będą teraz trafiać do odpowiednich profili w grupach kontrolnych.

  1. Aby dodać więcej przesłoniętych sekwencji, przejdź do Sekwencja. Znajdź i kliknij istniejącą sekwencję z listy lub kliknij Utwórz sekwencję, aby zastąpić grupy kontrolne.
  2. Gdy znajdziesz się już w sekwencji, utwórz wyzwalacz lub kliknij wyzwalacz w sekwencji.

W zależności od wybranego wyzwalacza (np. lista) w tym miejscu po lewej stronie zobaczysz panel Konfiguracja wyzwalacza z opcją zastąpienia istniejącej Ogólnej grupy kontrolnej. W przykładzie poniżej pokazano opcję zastąpienia Ogólnej grupy kontrolnej dla wyzwalacza listy.

3. W panelu Konfiguracja wyzwalacza kliknij link grupy Zastąp ogólną grupę kontrolną.

trigger setup.jpg
trigger setup.jpg

4. Jeśli chcesz wysyłać wiadomości z tej konkretnej sekwencji do osób z Twojej Ogólnej grupy kontrolnej, wybierz Tak. W przeciwnym razie wybierz Nie i zakończ proces zastępowania.

trigger setup confirm.jpg
trigger setup confirm.jpg

5. Kliknij Zapisz u dołu panelu Trigger Setup, aby zapisać zmiany. Kliknij Anuluj, jeśli nie chcesz zapisywać aktualizacji.

Zastępowanie poszczególnych kampanii (e-mail, SMS lub push)

Może być konieczne umożliwienie dotarcia niektórym kampaniom do grup kontrolnych. Na przykład możesz chcieć, aby Ogólna grupa kontrolna otrzymywała indywidualny e-mail powitalny od Twojej marki. W takim przypadku trzeba zastąpić ustawienia konkretnej kampanii, aby mieć pewność, że Ogólna grupa kontrolna otrzyma tę konkretną wiadomość lub kampanię.

  1. Przejdź do Kampanie.
  2. Wyszukaj w polu lub znajdź odpowiednią wersję roboczą kampanii na poniższej liście. Jeśli tworzysz nową kampanię, możesz też dodać nadpisanie bezpośrednio podczas konfiguracji, w tym samym czasie.

Nie będzie można edytować wysłanych kampanii.

3. W pierwszym kroku konfiguracji kampanii kliknij Skonfiguruj opcję w sekcji Odbiorcy.

campaign toggle option.jpg
campaign toggle option.jpg

4. Jeśli chcesz wysłać tę konkretną kampanię do osób z Ogólnej grupy kontrolnej, wybierz Tak. W przeciwnym razie wybierz Nie i zakończ proces zastępowania.

campaign confirmation message.jpg
campaign confirmation message.jpg

5. Kliknij Zapisz, aby potwierdzić zmiany. Kliknij Anuluj, jeśli nie chcesz zapisywać aktualizacji.

6. Kontynuuj konfigurację pozostałej części kampanii. Gdy skończysz, kliknij Zapisz i kontynuuj do Treści.

Ekran Gotowe do wysłania? potwierdzi i pokaże, że Twoja aktywna globalna grupa kont nie otrzyma tej kampanii.

Dodawanie nowych kanałów marketingowych w późniejszym terminie

Jeśli dodasz nowy kanał do istniejącej kampanii (np. SMS), Twoje ustawienia z początkowej konfiguracji kampanii zostaną zachowane, w tym jeśli wybrano zastąpienie ogólnych grup kontrolnych.

add sms remix.jpg
add sms remix.jpg

Jeśli chcesz to dostosować, postępuj zgodnie z instrukcjami konfiguracji powyżej i zamiast tego wyłącz opcję zastąpienia.

Sprawdzanie, czy profil jest lub był częścią grupy kontrolnej

Możesz sprawdzić, czy dany profil (profile) jest obecnie lub był kiedyś częścią Ogólnej grupy kontrolnej.

W obrębie pojedynczego profilu

  1. Przejdź do Odbiorcy > Profile.
  2. Wyszukaj w polu powyżej lub wybierz profil z listy poniżej. Baner, jak w poniższym przykładzie, poinformuje Cię, czy profil należy do Ogólnej grupy kontrolnej.
participant banner profile.jpg
participant banner profile.jpg

Możesz też sprawdzić, czy profil wcześniej należał do grupy kontrolnej i kiedy to miało miejsce. Usunięcie z grupy kontrolnej oznacza, że test został zakończony, a profil został z niej usunięty.

profile events log.jpg
profile events log.jpg

Jeśli profil został scalony, przyszłe wysyłki będą uwzględniać status grupy wstrzymania profilu scalonego.

W sekwencjach

  1. Przejdź do Sekwencji.
  2. Użyj pola wyszukiwania powyżej lub znajdź sekwencję na poniższej liście.
  3. Kliknij wiadomość w sekwencji, która została pominięta.
  4. Sprawdź panel po lewej stronie dla danej wiadomości w sekwencji, aby zobaczyć sekcję Analityka (ostatnie 30 dni). Tutaj zobaczysz wiersz dotyczący pominiętej aktywności.
skipped reason in flow.jpg
skipped reason in flow.jpg

5. Kliknij Pominięto, aby przejść do karty Aktywność odbiorców wiadomości e-mail, a także automatycznie do sekcji Pominięto. Ta sekcja pokazuje, dlaczego poszczególne osoby zostały pominięte w czasie wysyłki dla danej wiadomości sekwencji, w tym czy należały do Ogólnej grupy kontrolnej.

global holdouts suppresed view.jpg
global holdouts suppresed view.jpg

W ramach kampanii

  1. Przejdź do Kampanie.
  2. Wyszukaj w polu lub znajdź odpowiednią wysłaną kampanię na poniższej liście.
  3. Kliknij kartę Pominięta aktywność. Ta sekcja pokaże, dlaczego osoby zostały pominięte w czasie wysyłki dla tej konkretnej wiadomości w sekwencji, w tym czy znajdowały się w Ogólnej grupie kontrolnej.
global holdouts suppresed view.jpg
global holdouts suppresed view.jpg

Analizowanie danych analitycznych dotyczących grupy kontrolnej

Karta globalnej aktywnej grupy kontrolnej

Karta globalnego wstrzymania kontrolnego u góry sekcji analityki zawiera szczegółowe informacje i dane dotyczące dowolnej aktualnie aktywnej grupy wstrzymania kontrolnego. Ta karta jest szczególnie pomocna, ponieważ zapewnia czytelny sposób oceny skuteczności strategii marketingowych oraz przychodów, konwersji i wzrostu z nimi związanych.

Holdout group_experiment_klaviyo_coimpleted.png
Holdout group_experiment_klaviyo_coimpleted.png

W górnej części karty będzie widoczny ogólny procent wzrostu skuteczności marketingu, jak pokazano poniżej. To odzwierciedla wzrost skuteczności programu marketingowego w porównaniu z osobami z grupy kontrolnej, które nie otrzymały żadnych wiadomości. Ta metryka ma kluczowe znaczenie dla zrozumienia ogólnego wpływu programu marketingowego.

marketing lift.png
marketing lift.png

Poniżej wzrostu marketingowego będą uwzględnione dane dotyczące:

  • Odsetek wstrzymania kontrolnego
    Odsetek wszystkich profilów marketingowych, które nie otrzymały żadnych wiadomości marketingowych. Jest to wyliczane na podstawie początkowej konfiguracji grupy kontrolnej.
  • Prawdopodobieństwo wygranej
    Prawdopodobieństwo, że program marketingowy zapewnia znaczącą poprawę w porównaniu z grupą kontrolną.

Pamiętaj, że jeśli masz 10 lub mniej próbek łącznie z wersji testowej i wstrzymania kontrolnego, nie zobaczysz jeszcze odzwierciedlonego prawdopodobieństwa wygranej.

  • Grupa objęta działaniem
    Główna grupa otrzymująca wszystkie działania marketingowe.
  • Grupa kontrolna
    Grupa, która jest wstrzymywana przed otrzymywaniem wiadomości e-mail, SMS i powiadomień push wysyłanych w ramach kampanii i sekwencji.
  • Profile marketingowe
    Każdy profil, na który można wysyłać e-maile za pośrednictwem Klaviyo, jest uważany za marketingowy profil e-mail. Istnieją 2 główne kategorie aktywnych profili:
    • Subskrybenci
      Subskrybenci wypełnili formularz rejestracyjny lub w inny sposób wyraźnie wyrazili zgodę na otrzymywanie marketingu e-mailowego.
    • Profile dodane na podstawie ogólnego zaangażowania
      Ktoś może udostępnić Ci swój adres e-mail, nie wyrażając jednoznacznej zgody na dalszy marketing e-mailowy. Może on dotyczyć na przykład osoby, która złożyła w Twoim sklepie zamówienie, porzuciła swój koszyk zakupowy albo dodała swój adres e-mail podczas procesu zakupu, ale nigdy nie wyraziła wyraźnej zgody marketingowej.

Ostatnie dwie kolumny przedstawiają metrykę konwersji używaną na koncie, odzwierciedloną najpierw jako łączna liczba bezwzględna, a następnie jako procent tej wartości względem całości. Pamiętaj, że jest to łączna liczba konwersji dokonanych przez Twoje profile, a nie liczba konwersji przypisanych.

Karta historii

Karta podsumowania historii dostarcza dane dla wszystkich grup kontrolnych wstrzymania kontrolnego. Ta karta jest szczególnie pomocna, aby zobaczyć wszelkie przyrostowe zmiany wprowadzone w programach marketingowych oraz to, jak wpłynęły one na konwersje i wzrost. Tutaj możesz prześledzić te zmiany lub punkty w czasie i sprawdzić, co było skuteczne w programach.

history card-updated.jpg
history card-updated.jpg

Kolumny będą reprezentować następujące elementy:

  • Nazwa
    Nazwa ogólnej grupy kontrolnej, którą skonfigurowano.
  • Data rozpoczęcia
    Kiedy Ogólna grupa kontrolna została skonfigurowana i po raz pierwszy aktywna.
  • Data zakończenia
    Kiedy Ogólna grupa kontrolna zakończyła się i profile zostały z niej usunięte.
  • Rozmiar wstrzymania kontrolnego
    Odsetek profili spośród wszystkich profili marketingowych, które są uwzględnione w grupie wstrzymania kontrolnego. Jest to wyliczane na podstawie początkowej konfiguracji grupy kontrolnej.
  • Wzrost marketingowy
    Procentowy wzrost programu marketingowego w porównaniu z tymi w grupie kontrolnej, z użyciem wybranej na koncie metryki konwersji. Pokazuje to ogólną skuteczność strategii marketingowych w porównaniu z tymi, które nie otrzymują całości lub większości działań marketingowych.
  • Prawdopodobieństwo wygranej
    Prawdopodobieństwo, że Twój program marketingowy zapewnia znaczącą poprawę w porównaniu z grupą kontrolną.

Możesz też kliknąć strzałki obok dowolnej z tych kolumn, aby sortować według nazw, dat, rozmiarów wstrzymań kontrolnych, wzrostu marketingowego i prawdopodobieństwa wygranej w porządku rosnącym lub malejącym.

Klikając dowolną nazwę wstrzymania kontrolnego, przejdziesz do indywidualnej karty analitycznej z danymi dotyczącymi tej konkretnej grupy w porównaniu z Twoimi programami marketingowymi.

Czy ten artykuł był pomocny?
Ten formularz służy tylko do przesyłania opinii na temat artykułów. Dowiedz się, jak skontaktować się z zespołem ds. pomocy.

Dowiedz się od Klaviyo więcej

Społeczność
Nawiązuj kontakty z osobami na podobnych stanowiskach, partnerami oraz ekspertami i ekspertkami Klaviyo – inspirujcie się nawzajem, wymieniajcie spostrzeżeniami i pomagajcie szukać odpowiedzi na nurtujące Was pytania.
Partnerzy
Zatrudnij certyfikowanego eksperta Klaviyo, który pomoże Ci w konkretnym zadaniu lub w ciągłym zarządzaniu marketingiem.
Pomoc

Uzyskaj wsparcie za pośrednictwem konta.

E-mail do zespołu ds. pomocy (konta w bezpłatnym okresie próbnym oraz konta płatne) Całodobowa dostępność

Czat/wirtualna pomoc
Dostępność różni się w–zależności od lokalizacji i typu planu.