So testest du deinen Customer Agent

Übersicht

So testest du Customer Agent in der Seitenleiste „Vorschau“, debuggst Antworten, die du nicht erwartest, und validierst Skills, bevor Shopper*innen sie sehen.

Bevor du anfängst

Du brauchst:

• Customer Agent aktiviert
• Einige Inhalte, Anleitungen und Skills konfiguriert (du kannst iterieren, aber Tests ohne Setup bringen dir nicht viel).
• Bearbeitungsberechtigung für Customer Agent, wenn du Einstellungen ändern oder Simulationen erneut ausführen möchtest.

Diese Vorschau verwendet Live-Tools und kann Klaviyo-Profile oder verbundene Systeme aktualisieren. Verwende ein Testprofil und Testdaten für Aktionen, die du nicht auf das Konto von Shopper*innen anwenden möchtest.

Warum Tests wichtig sind

Das Verhalten des Customer Agent ergibt sich aus einem Stack von Signalen – deinen Inhalten, Guidance, Skills, Tools. Eine kleine Änderung an einem dieser Elemente (das Umschreiben deiner Markenzusammenfassung, das Hinzufügen einer Kommunikationsstil-Regel, das Anhängen eines neuen Tools) kann sich auf Antworten auswirken, die du nicht erwartet hast.

Teste vor dem Launch und teste erneut, jedes Mal wenn du eine wesentliche Änderung vornimmst. Plane vor dem Livegang einen umfassenden Testlauf und überprüfe dann alle 30 Tage oder immer dann, wenn du Inhalte für einen Sale, eine neue Produktlinie oder eine Richtlinienänderung aktualisierst.

Vorbereitung

1. Öffne die Vorschau-Seitenleiste

1. Navigiere zu Customer Agent > Anleitung.
2. Klicke auf Vorschau, wenn die Seitenleiste geschlossen ist. Wenn die Seitenleiste die Tabs Erstellen und Vorschau hat, wähle Vorschau aus.

Die Seitenleiste testet deine Inhalte, Skills, Tools und Guidance. Sie enthält Entwürfe von Skill-Änderungen. Auf der Seite „Guidance“ verwendet sie außerdem nicht gespeicherte Änderungen an Ton, Regeln für den Kommunikationsstil und Eskalationsregeln, sodass sich ihre Antworten von dem unterscheiden können, was Kund*innen derzeit erhalten.

Bevor du deine erste Nachricht sendest, wähle den Kontext für deinen Test:

• Webseite: Wähle für den Web-Chat eine Seite aus deinem indexierten Storefront aus, z. B. eine Produkt- oder Kategorieseite, um Fragen dazu zu testen, was sich die Kund*innen gerade ansehen.
• Kanal: Öffne das Kanalmenü, das zunächst als Web-Chat gekennzeichnet ist, und wähle den Kanal aus, den du testen möchtest, z. B. Web-Chat, Textnachricht, E-Mail oder WhatsApp.
• Profil: Wähle ein Testprofil aus, um es mit seiner Bestellhistorie, Abonnements und anderen verfügbaren Kund*innendaten zu testen. Wähle Abgemeldetes Profil aus, um zu testen, ohne dich als Kund*in anzumelden.

2. Beispiel-Fragen senden

Gib in Stelle eine Frage ... eine Nachricht im Stil von Shopper*innen ein und klicke dann auf Senden. Ein Startset:

• „Wie pflege ich es?“ (Test der Behandlung von Produktfragen)
• „Aus welchem Material ist das gemacht?“ (testet Produktkenntnisse aus deinem Katalog)
• „Wo ist meine Bestellung?“ (testet die Fähigkeit „Bestell-Tracking“)
• „Wie lauten die Rückgaberichtlinien?“ (ruft Testinhalte ab)
• „Kann ich mit einer Person sprechen?“ (Übergabe testen)

Füge Fragen hinzu, die speziell zu deiner Marke passen – also alles, was ein*e echte*r Käufer*in fragen würde.

Behalte verwandte Folgefragen im selben Gespräch. Um einen separaten Test zu starten oder den Kanal bzw. das Profil zu ändern, klicke auf Zurücksetzen, wähle dann deinen Testkontext aus und sende eine weitere Nachricht. Durch Zurücksetzen wird das Testgespräch gelöscht.

3. Prüfe, was im Hintergrund passiert ist

Erweitere nach einer Antwort die Aktionszusammenfassung in der Konversation, um zu prüfen, was Customer Agent gemacht hat. Öffne einen Tool- oder Quelleneintrag, um dir die Details anzusehen. Die verfügbaren Einträge zeigen:

• Welche Skills Customer Agent ausgewählt hat
• Welche Tools ausgeführt wurden und was sie zurückgegeben haben
• Welche Inhalte abgerufen wurden
• Die endgültige Antwort und alle Eskalationsregeln, die zutrafen

Verwende diese Details, um festzustellen, ob du Skills-Anweisungen, Inhalte, Tools oder Guidance aktualisieren musst.

Skills testen

Wenn du ein vollständig benutzerdefiniertes Skill erstellt hast, navigiere zu Customer Agent > Skills, öffne das Skill, und nutze die Vorschau -Seitenleiste. Konzentriere deine Tests auf drei Dinge:

• Router-Verhalten – Sende Nachrichten, die mit dem „Wann du diese Skills verwenden solltest“ deiner Skills übereinstimmen sollten. Bestätige, dass deine Skills tatsächlich ausgewählt wurde.
• Antwortverhalten – Geh die Abschnitte in „How to respond“ deines Skills durch. Stell sicher, dass das Verhalten jedes Abschnitts ausgeführt wird – einschließlich Tool-Nutzung und aller Übergabeaktionen.
• Tool-Nutzung – Wenn deine Skills Tools verwenden, bestätige, dass sie im richtigen Schritt mit den richtigen Parametern ausgelöst werden.

Optimiere „When to use this skill“, wenn der Router sie falsch auswählt, und „How to respond“, wenn das Verhalten nicht stimmt.

Teste erneut, nachdem du den Skill bearbeitet hast. Wenn du bereit bist, dass Shopper*innen die Änderungen verwenden, klicke bei einem Skill-Entwurf auf Veröffentlichen oder bei einem Live-Skill mit ausstehenden Bearbeitungen auf Aktualisieren. Durch das Testen eines Entwurfs wird er nicht veröffentlicht.

Fehlerbehebung bei einer schlechten Antwort

Wenn Customer Agent eine Antwort gibt, die nicht richtig zu sein scheint, geh dabei in dieser Reihenfolge vor:

1. Wurde der richtige Skill ausgewählt? Überprüfe bei einem vollständig benutzerdefinierten Skill „Wann dieser Skill verwendet werden sollte“ und prüfe, ob darin die Anfragen, die der Skill verarbeiten soll, klar beschrieben werden.
2. Wurde der richtige Inhalt abgerufen? Wenn Customer Agent veraltete oder falsche Inhalte verwendet hat, korrigiere die Quelle – siehe So fügst du Inhalte hinzu und verwaltest sie.
3. Wurden die Tools korrekt ausgeführt? Prüfe die Tool-Aufrufe auf fehlende Parameter oder unerwartete Rückgaben.
4. Hat Guidance die Antwort korrekt gestaltet? Ton, Kommunikationsstilregeln und Eskalationsregeln werden alle zusätzlich zur Skills-Ausgabe angewendet.

Korrigiere den relevanten Skill, Inhalt, das Tool oder die Einstellung für „Guidance“ und starte dann einen neuen Test, um das Ergebnis zu bestätigen. Klicke auf der Seite „Guidance“ auf Speichern, wenn du bereit bist, Ton- oder Regeländerungen auf Konversationen mit Shopper*innen anzuwenden.

Fehlerbehebung

Symptom: Customer Agent wählt die falsche Skill aus.
Wahrscheinliche Ursache: Skill-Beschreibungen überschneiden sich, oder „Wann diese Skill verwendet werden soll“ ist bei einer vollständig benutzerdefinierten Skill zu breit oder zu eng gefasst.
Behebung: Formuliere den Inhalt von „Wann diese Skill verwendet werden soll“ präziser. Teste mehrere Formulierungen für dieselbe Absicht.

Symptom: Customer Agent verwendet kein Tool, das du erwartest.
Wahrscheinliche Ursache: Das Tool ist nicht an die Skills angehängt, oder „So antwortest du“ verweist nicht beim richtigen Schritt auf das Tool.
Behebung: Bestätige, dass das Tool angehängt ist. Füge unter „So antwortest du“ das Tool inline in den Schritt ein, in dem es ausgeführt werden soll.

Symptom: Customer Agent verwendet die falschen Inhalte.
Wahrscheinliche Ursache: Widersprüchliche Quellen oder eine andere Quelle passt besser zur Frage der Kund*innen als die Quelle, die du erwartet hast.
Lösung: Prüfe widersprüchliche Inhalte und führe sie zusammen. Synchronisiere Quellen, die du vor Kurzem bearbeitet hast, erneut.

Symptom: Antwortton oder -stil stimmt nicht.
Wahrscheinliche Ursache: Die Regeln für Tonalität oder Kommunikationsstil müssen angepasst werden.
Lösung: Überprüfe die Guidance-Einstellungen. Optimiere den Ton oder füge eine spezifische Regel für den Kommunikationsstil hinzu.

Simulationen prüfen

Simulationen führen Customer Agent durch Shopper-Szenarien und bewerten die Antworten anhand des erwarteten Verhaltens. Erneut ausführen verwendet veröffentlichte Skills und gespeicherte Guidance. Verwende zuerst die Seitenleiste „Vorschau“, um Entwurf-Skills oder nicht gespeicherte Guidance zu testen. So überprüfst du vorhandene Simulationen:

1. Navigiere zu Customer Agent > Train.
2. Öffne ein Szenario und überprüfe die simulierte Unterhaltung und die Ergebnisse.
3. Nachdem du deine Änderungen gespeichert oder veröffentlicht hast, klicke auf Erneut ausführen, um das Szenario erneut zu testen. Warte, bis der Durchlauf abgeschlossen ist, und prüfe dann die aktualisierten Ergebnisse.

Für die erneute Ausführung ist die Berechtigung erforderlich, den Customer Agent zu bearbeiten, und sie ist nicht verfügbar, während das automatische Training oder die aktuelle Simulation des Szenarios läuft.

Weitere Ressourcen