So testest du deinen Customer Agent

Übersicht

So testest du den Customer Agent in der Test-Seitenleiste, debuggst Antworten, die du nicht erwartest, und validierst Skills, bevor Shopper*innen sie sehen.

Bevor du anfängst

Du brauchst:

• Customer Agent aktiviert
• Einige Inhalte, Anleitungen und Skills konfiguriert (du kannst iterieren, aber Tests ohne Setup bringen dir nicht viel).

Warum Tests wichtig sind

Das Verhalten des Customer Agent basiert auf einem Stapel von Signalen – deinem Content, deiner Guidance, deinen Skills, deinen Tools. Schon eine kleine Änderung an einem dieser Punkte (z. B. eine Überarbeitung deiner Markenzusammenfassung, das Hinzufügen einer Stilregel für die Kommunikation oder das Anhängen eines neuen Tools) kann sich auf Antworten auswirken, mit denen du nicht gerechnet hast.

Teste vor dem Launch und teste jedes Mal erneut, wenn du eine wesentliche Änderung vornimmst. Die meisten Marken führen vor dem Go-live einen gründlichen Testlauf durch und prüfen dann alle 30 Tage oder immer dann, wenn sie Inhalte für einen Sale, eine neue Produktlinie oder eine Richtlinienänderung aktualisieren.

Vorbereitung

1. Öffne die Test-Seitenleiste

Öffne die Test-Seitenleiste von überall innerhalb von Customer Agent. Die Seitenleiste simuliert ein echtes Gespräch – Customer Agent verwendet dieselben Skills, Tools, Inhalte und Guidance, die er bei einem*einer Live-Kund*in verwenden würde.

Du kannst Folgendes anpassen:

• Seitenkontext – simulieren, dass sich Kund*innen auf einer bestimmten Seite befinden (PDP, Kategorie, Warenkorb usw.)
• Kanal — teste, wie Antworten im Web-Chat, per SMS oder per E-Mail gerendert werden
• Profil – wähle ein Klaviyo-Profil aus, damit Customer Agent Bestellverlauf, Abonnements und weiteren Kontext hat, mit dem er arbeiten kann

2. Beispiel-Fragen senden

Shopper-Style-Nachrichten ausführen. Ein Starter-Set:

• „Wie pflege ich es?“ (Test der Behandlung von Produktfragen)
• „Aus welchem Material ist das gemacht?“ (testet Produktkenntnisse aus deinem Katalog)
• „Wo ist meine Bestellung?“ (testet die Fähigkeit „Bestell-Tracking“)
• „Wie lauten die Rückgaberichtlinien?“ (ruft Testinhalte ab)
• „Kann ich mit einer Person sprechen?“ (Übergabe testen)

Füge Fragen hinzu, die speziell zu deiner Marke passen – also alles, was ein*e echte*r Käufer*in fragen würde.

3. Prüfe, was im Hintergrund passiert ist

Nach jeder Antwort kannst du überprüfen, was Customer Agent gemacht hat:

• Welche Skills Customer Agent ausgewählt hat
• Welche Tools ausgeführt wurden und was sie zurückgegeben haben
• Welche Inhalte abgerufen wurden
• Die endgültige Antwort und alle Eskalationsregeln, die zutrafen

Verwende dies, um nachzuvollziehen, warum Customer Agent so geantwortet hat. Die meisten Probleme ergeben sich aus einem dieser vier Signale.

Skills testen

Wenn du eine vollständig benutzerdefinierte Skill erstellt hast, konzentriere deine Tests auf drei Dinge:

• Router-Verhalten – Sende Nachrichten, die mit dem „Wann du diese Skills verwenden solltest“ deiner Skills übereinstimmen sollten. Bestätige, dass deine Skills tatsächlich ausgewählt wurde.
• Antwortverhalten – Geh die Abschnitte in „How to respond“ deines Skills durch. Stell sicher, dass das Verhalten jedes Abschnitts ausgeführt wird – einschließlich Tool-Nutzung und aller Übergabeaktionen.
• Tool-Nutzung – Wenn deine Skills Tools verwenden, bestätige, dass sie im richtigen Schritt mit den richtigen Parametern ausgelöst werden.

Optimiere „When to use this skill“, wenn der Router sie falsch auswählt, und „How to respond“, wenn das Verhalten nicht stimmt.

Fehlerbehebung bei einer schlechten Antwort

Wenn Customer Agent eine Antwort gibt, die nicht richtig zu sein scheint, geh dabei in dieser Reihenfolge vor:

1. Wurde das richtige Skill ausgewählt? Wenn nicht, liegt das Problem in „Wann dieses Skill verwendet wird“ des Skills.
2. Wurde der richtige Inhalt abgerufen? Wenn Customer Agent veraltete oder falsche Inhalte verwendet hat, korrigiere die Quelle – siehe So fügst du Inhalte hinzu und verwaltest sie.
3. Wurden die Tools korrekt ausgeführt? Prüfe die Tool-Aufrufe auf fehlende Parameter oder unerwartete Rückgaben.
4. Hat Guidance die Antwort korrekt gestaltet? Ton, Kommunikationsstilregeln und Eskalationsregeln werden alle zusätzlich zur Skills-Ausgabe angewendet.

Behebe das Problem an der Quelle, statt es nachgelagert zu patchen.

Fehlerbehebung

Symptom: Customer Agent wählt die falsche Skill aus.
Wahrscheinliche Ursache: Skill-Beschreibungen überschneiden sich, oder „Wann diese Skill verwendet werden soll“ ist bei einer vollständig benutzerdefinierten Skill zu breit oder zu eng gefasst.
Behebung: Formuliere den Inhalt von „Wann diese Skill verwendet werden soll“ präziser. Teste mehrere Formulierungen für dieselbe Absicht.

Symptom: Customer Agent verwendet kein Tool, das du erwartest.
Wahrscheinliche Ursache: Das Tool ist nicht an die Skills angehängt, oder „So antwortest du“ verweist nicht beim richtigen Schritt auf das Tool.
Behebung: Bestätige, dass das Tool angehängt ist. Füge unter „So antwortest du“ das Tool inline in den Schritt ein, in dem es ausgeführt werden soll.

Symptom: Customer Agent verwendet die falschen Inhalte.
Wahrscheinliche Ursache: Widersprüchliche Quellen oder qualitativ hochwertigere Inhalte zum selben Thema werden höher eingestuft als die Quelle, die du erwartet hast.
Lösung: Prüfe widersprüchliche Inhalte und konsolidiere sie. Synchronisiere Quellen erneut, die du kürzlich bearbeitet hast.

Symptom: Antwortton oder -stil stimmt nicht.
Wahrscheinliche Ursache: Die Regeln für Tonalität oder Kommunikationsstil müssen angepasst werden.
Lösung: Überprüfe die Guidance-Einstellungen. Optimiere den Ton oder füge eine spezifische Regel für den Kommunikationsstil hinzu.

Demnächst verfügbar: Simulationen

Simulationen sind eine kommende Funktion zum Ausführen von Customer Agent mit Batches von shopperähnlichen Eingaben und zum Bewerten der Antworten im großen Maßstab. Bis Simulationen verfügbar sind, ist die Test-Seitenleiste das wichtigste Test-Tool.