カスタマーエージェントをテストする方法

このページで学べること

テスト用サイドバーでカスタマーエージェントをテストし、想定外の応答をデバッグして、購入者に表示される前にスキルを検証する方法。

始める前に

必要なもの：

• カスタマーエージェントが有効
• いくつかのコンテンツ、ガイダンス、スキルが設定されている（反復できますが、何も設定せずにテストしてもあまり分かりません）

テストが重要な理由

カスタマーエージェントの動作は、お客様のコンテンツ、ガイダンス、スキル、ツールといったシグナルの積み重ねから生まれます。これらのいずれかに小さな変更（ブランド概要の書き換え、コミュニケーションスタイルルールの追加、新しいツールの追加）を加えるだけで、想定していなかった応答につながる可能性があります。

公開前にテストし、重要な変更を行うたびに再テストしてください。ほとんどのブランドは、公開前に徹底的なテストを実施し、その後は 30 日ごと、またはセール、新しい商品ライン、ポリシー変更に合わせてコンテンツを更新するたびに確認します。

設定

1. テスト サイドバーを開きます。

カスタマーエージェント内の任意の場所からテスト サイドバーを開きます。サイドバーは実際の会話をシミュレーションします。カスタマーエージェントは、実際の買い物客に対して使用するのと同じスキル、ツール、コンテンツ、ガイダンスを使用します。

次を調整できます：

• ページ コンテキスト — ショッパーが特定のページ（PDP、コレクション、カートなど）にいる状態をシミュレートします。
• チャネル — ウェブチャット、SMS、またはメールで応答がどのようにレンダリングされるかをテストします
• プロファイル — Klaviyo プロファイルを選択すると、カスタマーエージェントが注文履歴、購読、その他のコンテキストを利用して対応できるようになります

2. サンプルの質問を送信する

ショッパー風のメッセージを実行します。スターターセット：

• 「どのようにお手入れすればよいですか？」（テスト：商品に関する質問対応）
• 「この素材は何でできていますか？」 (カタログからの商品知識をテストします)
• [注文はどこですか？](注文トラッキング スキルをテストします)
• [返品ポリシーについて教えてください？](テスト コンテンツの取得)
• “担当者と話せますか？”(ハンドオフをテスト)

ブランドに固有の質問を織り交ぜます。実際の買い物客が尋ねそうなことであれば何でも構いません。

3. 内部で何が起きていたかを確認します

各応答の後に、カスタマーエージェントが実行した内容を確認できます：

• カスタマーエージェントが選択した スキル
• 実行されたツールと返された内容
• 取得されたコンテンツ
• 最終応答 と一致したすべてのエスカレーションルール

これを使用して、カスタマーエージェントがそのように応答した理由を追跡します。ほとんどの問題は、これら 4 つのシグナルのいずれかに起因します。

スキルをテストする

完全にカスタムのスキルを構築した場合は、次の 3 つに焦点を当ててテストしてください：

• ルーターの動作 — スキルの「このスキルを使用するタイミング」に一致するはずのメッセージを送信します。スキルが実際に選択されたことを確認してください。
• レスポンス動作 — スキルの「How to respond.」にあるセクションを順に確認します。ツールの使用と引き継ぎアクションを含め、各セクションの動作が実行されるようにします。
• ツールの使用状況 — スキルでツールを使用する場合は、適切なステップで適切なパラメータを使用して起動することを確認してください。

ルーターが誤って選択している場合は “When to use this skill” を、動作が期待どおりでない場合は “How to respond” を反復的に改善します。

不適切な応答のデバッグ

カスタマーエージェントが正しくないと思われる回答を返した場合は、次の順序で確認してください：

1. 適切なスキルが選択されましたか？そうでない場合、問題はスキルの「When to use this skill.」にあります。
2. 適切なコンテンツが取得されましたか？カスタマーエージェントが古い、または誤ったコンテンツを使用した場合は、ソースを修正してください。「コンテンツの追加と管理の方法」を参照してください。
3. ツールは正しく実行されましたか？不足しているパラメーターや、想定外の返り値がないかツール呼び出しを確認します。
4. Guidance は応答を正しく形成しましたか？トーン、コミュニケーションのスタイルルール、エスカレーションルールはすべて、スキルの出力の上に重ねて適用されます。

下流でつじつま合わせをするのではなく、発生源で修正してください。

トラブルシューティング

問題：カスタマーエージェントが誤ったスキルを選択します。
考えられる原因：スキルの説明が重複している、または完全にカスタムのスキルで「このスキルを使用するタイミング」が広すぎるか狭すぎます。
修正方法：スキルの「このスキルを使用するタイミング」の内容を絞り込みます。同じ意図に対して複数の言い回しをテストします。

問題：カスタマーエージェントが想定しているツールを使用しません。
考えられる原因： ツールがスキルに添付されていないか、「How to respond」で適切なステップでツールに言及していません。
修正方法： ツールが添付されていることを確認します。「対応方法」で、実行すべきステップにツールをインラインで挿入します。

問題：カスタマーエージェントが誤ったコンテンツを使用します。
考えられる原因：ソースが競合している、または同じトピックを扱うより高品質なコンテンツが、想定していたソースより上位に評価されています。
修正方法： 競合するコンテンツをチェックし統合します。最近編集したソースを再同期します。

症状： 応答のトーンまたはスタイルが適切ではありません。
考えられる原因： 口調またはコミュニケーション スタイルのルールを調整する必要があります。
修正： ガイダンス設定を確認してください。トーンを繰り返し調整するか、具体的なコミュニケーション スタイル ルールを追加してください。

近日公開：シミュレーション

シミュレーションは、カスタマーエージェントをショッパースタイルの入力のバッチに対して実行し、応答を大規模に採点するための今後リリース予定の機能です。シミュレーションがリリースされるまで、テストサイドバーが主なテストツールです。

その他のリソース