Jak przetestować swojego Customer Agenta

Czego się dowiesz?

Jak testować Customer Agent na pasku bocznym testów, debugować nieoczekiwane odpowiedzi i weryfikować umiejętności, zanim zobaczą je kupujący.

Kilka słów na początek

Będzie potrzebne:

• Customer Agent włączony
• Skonfigurowane treści, Guidance i umiejętności (możesz iterować, ale testowanie bez żadnej konfiguracji niewiele powie)

Dlaczego testowanie ma znaczenie

Zachowanie Customer Agent wynika ze stosu sygnałów — Twoich treści, Guidance, umiejętności, narzędzi. Niewielka zmiana w dowolnym z nich (przeredagowanie opisu marki, dodanie reguły stylu komunikacji, dołączenie nowego narzędzia) może przełożyć się na odpowiedzi, których się nie spodziewasz.

Przetestuj przed uruchomieniem i przetestuj ponownie za każdym razem, gdy wprowadzisz istotną zmianę. Większość marek przeprowadza dokładne testy przed uruchomieniem, a następnie sprawdza co 30 dni lub za każdym razem, gdy aktualizuje treści związane z wyprzedażą, nową linią produktów lub zmianą zasad.

Skonfiguruj to

1. Otwórz pasek boczny testu

Otwórz pasek boczny testu z dowolnego miejsca w Customer Agent. Pasek boczny symuluje prawdziwą rozmowę — Customer Agent używa tych samych umiejętności, narzędzi, treści i Guidance, których używałby podczas rozmowy z prawdziwym kupującym.

Możesz dostosować:

• Kontekst strony — zasymuluj, że kupujący znajduje się na określonej stronie (PDP, kolekcja, koszyk itd.)
• Kanał — przetestuj, jak odpowiedzi są wyświetlane w czacie online, SMS-ie lub e-mailu
• Profil — wybierz profil w Klaviyo, aby Customer Agent miał historię zamówień, subskrypcje i inne informacje kontekstowe, z którymi może pracować

2. Wyślij przykładowe pytania

Uruchamiaj wiadomości w stylu shopper. Zestaw startowy:

• „Jak o to dbać?” (testuje obsługę pytań o produkt)
• „Z jakiego materiału jest to wykonane?” (sprawdza znajomość produktów z katalogu)
• „Gdzie jest moje zamówienie?” (testuje umiejętność śledzenia zamówienia)
• „Jaka jest Wasza polityka zwrotów?” (testuje pobieranie treści)
• „Czy mogę porozmawiać z człowiekiem?” (testuje przekazanie)

Dodaj pytania specyficzne dla marki — wszystko, o co można się spodziewać, że zapyta prawdziwy klient.

3. Sprawdź, co działo się za kulisami

Po każdej odpowiedzi można sprawdzić, co zrobił Customer Agent:

• Którą umiejętność wybrał Customer Agent
• Które narzędzia zostały uruchomione i co zwróciły
• Jakie treści zostały pobrane
• Ostateczna odpowiedź oraz wszelkie reguły eskalacji, które zostały dopasowane

Użyj tego, aby prześledzić, dlaczego Customer Agent odpowiedział w taki sposób. Większość problemów wynika z jednego z tych czterech sygnałów.

Testowanie umiejętności

Jeśli zbudowano w pełni niestandardową umiejętność, podczas testowania skup się na trzech rzeczach:

• Zachowanie routera — Wysyłaj wiadomości, które powinny pasować do treści „Kiedy użyć tej umiejętności” w Twojej umiejętności. Potwierdź, że Twoja umiejętność została faktycznie wybrana.
• Zachowanie odpowiedzi — Przejdź przez sekcje w „Jak odpowiadać” w Twojej umiejętności. Upewnij się, że zachowanie każdej sekcji jest realizowane — w tym użycie narzędzi oraz wszelkie działania przekazania.
• Korzystanie z narzędzi — Jeśli Twoja umiejętność korzysta z narzędzi, potwierdź, że uruchamiają się we właściwym kroku z właściwymi parametrami.

Wprowadzaj iteracje w sekcji „Kiedy używać tej umiejętności”, jeśli router wybiera ją nieprawidłowo, oraz w sekcji „Jak odpowiadać”, jeśli zachowanie jest nieprawidłowe.

Debugowanie nieprawidłowej odpowiedzi

Gdy Customer Agent udziela odpowiedzi, która nie wydaje się właściwa, przejdź przez to w tej kolejności:

1. Czy wybrano odpowiednią umiejętność? Jeśli nie, problem leży w sekcji umiejętności „Kiedy używać tej umiejętności.”
2. Czy pobrano właściwą treść? Jeśli Customer Agent użył nieaktualnej lub nieprawidłowej treści, popraw źródło — zobacz Jak dodawać treści i nimi zarządzać.
3. Czy narzędzia zadziałały prawidłowo? Sprawdź wywołania narzędzia pod kątem brakujących parametrów lub nieoczekiwanych wartości zwracanych.
4. Czy Guidance prawidłowo ukształtowało odpowiedź? Ton, zasady stylu komunikacji i zasady eskalacji nakładają się na wynik umiejętności.

Popraw u źródła zamiast łatać na dalszych etapach.

Rozwiązywanie problemów

Objaw: Customer Agent wybiera niewłaściwą umiejętność.
Prawdopodobna przyczyna: Opisy umiejętności nakładają się na siebie lub „Kiedy używać tej umiejętności” jest zbyt ogólne albo zbyt wąskie w przypadku w pełni niestandardowej umiejętności.
Poprawka: Doprecyzuj treść sekcji „Kiedy używać tej umiejętności” w ramach tej umiejętności. Przetestuj wiele sformułowań dla tego samego zamiaru.

Objaw: Customer Agent nie używa narzędzia, którego oczekujesz.
Prawdopodobna przyczyna: narzędzie nie jest dołączone do umiejętności lub „Jak odpowiadać” nie odwołuje się do narzędzia na właściwym etapie.
Rozwiązanie: potwierdź, że narzędzie jest dołączone. W sekcji „Jak odpowiadać” wstaw narzędzie w treści na etapie, na którym ma zostać uruchomione.

Objaw: Customer Agent używa niewłaściwej treści.
Prawdopodobna przyczyna: Sprzeczne źródła lub treść wyższej jakości obejmująca ten sam temat ma wyższy priorytet niż źródło, którego się spodziewano.
Naprawa: Przeprowadź audyt i scal sprzeczne treści. Zsynchronizuj ponownie źródła, które ostatnio edytowano.

Objaw: Ton lub styl odpowiedzi jest nieodpowiedni.
Prawdopodobna przyczyna: Konieczne jest dostosowanie zasad tonu głosu lub stylu komunikacji.
Rozwiązanie: Sprawdź ustawienia Guidance. Dostosuj ton lub dodaj konkretną zasadę stylu komunikacji.

Wkrótce: Symulacje

Symulacje to nadchodząca funkcja umożliwiająca uruchamianie Customer Agent na partiach danych wejściowych w stylu zakupowym i ocenianie odpowiedzi na dużą skalę. Do czasu udostępnienia symulacji głównym narzędziem testowania jest panel boczny testów.

Dodatkowe zasoby