KlaviyoAIBot の仕組みを理解する

KlaviyoAIBot について、以下を含めて学ぶ：

• 概要とクロール対象
• 正当なリクエストを特定する方法
• クロールがサイト ルールをどのように尊重するか、またその制御方法

この記事は、KlaviyoAIBot からのトラフィックが発生しており、それが正当なものかを確認するか、クロールを許可する方法を調整したい方向けです。

KlaviyoAIBot とは何ですか？

KlaviyoAIBotは、カスタマーエージェントを含むKlaviyoのAI機能で使用されるユーザーエージェントです。カスタマーエージェントの場合、KlaviyoAIBotはアカウントに接続されているドメインとURLから、一般公開されているページを取得します。このコンテンツをインデックス化することで、Klaviyoはウェブサイト上とKlaviyo内の両方でAIエクスペリエンスを最適化できます。これは、コンテンツ生成、AI の回答、商品レコメンデーションに役立ちます。

主要なストアフロント以外にも、ヘルプセンター（Zendeskなど）、ブログ、ニュース記事などのソースを追加できます。KlaviyoAIBotは、認証やペイウォールの背後にあるページにアクセスするためにサインインしません。

仕組み

• 同意と範囲
  カスタマーエージェントは、接続済みのストアフロントと、追加した追加ソースをスキャンします。たとえば、Klaviyoアカウントに接続されている公開Shopifyページはクロールできますが、関連コンテンツを探すためにWikipediaを検索することはありません。
• サイトルールの尊重
  カスタマーエージェントは、サイトのサイトマップからページを選択する際にrobots.txtを確認します。Robots Exclusion Protocol（REP）はRFC 9309で定義されています。
• 礼儀正しさ
  ページリクエストがHTTP 429を受信した場合、カスタマーエージェントは再試行する前に待機し、試行の間の待機時間は回を追うごとに長くなります。これらの再試行では、待機時間を設定するためにRetry-Afterヘッダーは使用されません。
• 再訪問
  カスタマーエージェントは、自動同期が有効になっているソースを定期的に再クロールします。頻度は、変更シグナルと設定内容によって異なります。

KlaviyoAIBot を識別する方法

ユーザーエージェントはクローラートラフィックを識別し、HTTPメッセージシグネチャはその発信元の検証に役立ちます。

署名を検証できるか、またはCloudflareを通じてそのIDを確認できない限り、リクエストは未検証として扱ってください。ユーザーエージェント文字列だけでは、リクエストがKlaviyoから送信されたことの証明にはなりません。

ユーザーエージェント

KlaviyoAIBot/1.0 (+https://help.klaviyo.com/hc/en-us/articles/40496146232219)

HTTP 400または403のレスポンス後、robots.txtでアクセスが許可されている場合は、カスタマーエージェントがこのuser-agentを使用せずにページリクエストを再試行できます。署名検証を使用して、これらのリクエストを識別してください。

HTTP メッセージ署名（ウェブ ボット認証）

カスタマーエージェントは、HTTP Message Signatures RFC 9421とCloudflareのウェブボット認証を使用して、ページ、サイトマップ、robots.txtへのリクエストに署名します。これを使用すると、IP許可リストに依存せずに、リクエストがKlaviyoAIBotから正当に送信されたものであることを確認できます。

署名付きリクエストには、Signature-Agent、Signature-Input、Signatureヘッダーが含まれます。署名をKlaviyoの公開鍵ディレクトリと照合して検証してください。これらのヘッダーが存在するだけでは真正性の証明にはなりません。

ヒント：サイトがCloudflareの背後にあり、ウェブボット認証の検証が有効になっている場合、CloudflareはKlaviyoの署名を検証し、検証済みのトラフィックをcf.bot_management.verified_botでマークできます。= true。このフィールドは、一般的に検証済みのボットを識別するものであり、Klaviyoに固有のものではありません。WAFルールで使用する際は、その適用範囲を考慮してください。

KlaviyoAIBotと表示されるトラフィックがあります。本物だとどう判断すればよいですか？
Cloudflareを使用している場合は、リクエストの検証済みステータスとボットIDを確認してください。Cloudflareを使用していない場合は、RFC 9421とWeb Bot Authに従って、HTTP Message SignatureヘッダーをKlaviyoの公開鍵ディレクトリと照合して検証してください。

KlaviyoAIBot がクロールする内容

• E コマースストア
  Klaviyo に接続されている E コマースドメイン。
• 追加のソース
  カスタマーエージェントに追加するその他のソース（ヘルプセンター（例：Zendesk）、ドキュメントポータル、ナレッジベース、ブログ、ニュース記事など）。
• 公開コンテンツ
  一般にアクセス可能なページをソースとして使用します。robotsのルールはウェブサイトのスキャンの指針となりますが、非公開コンテンツを保護するものではありません。非公開ページには、認証またはその他のアクセス制御を使用してください。

クロールを制御または制限する方法

• Robots.txt
  ウェブサイトのスキャンに含めるサイトマップページを制御できるように、KlaviyoAIBotユーザーエージェント向けのrobotsルールを追加または更新します。robots.txtとREPの詳細をご確認ください。
• 一時的な低速化
  カスタマーエージェントがページリクエストを再試行する前に待機するよう、HTTP 429を返します。その再試行までの待機時間を設定するために、503レスポンスやRetry-Afterに依存しないでください。
• 接続する内容を選択
  ナレッジでカスタマーエージェントに接続されているドメインとURLを追加または削除できます。

ソースを削除するには、カスタマーエージェントを編集する権限が必要です。ウェブサイトのソースを削除すると、インデックス化されたサブページも削除されます。

1. カスタマーエージェント > ナレッジを開き、削除するソースを選択してください。
2. その他の操作を開き、削除を選択します。ソースが削除され、ナレッジページに戻ります。

サイトの特定のセクションをブロックできますか？
はい。ウェブサイトスキャンでそれらのパスを許可しないようにするために、robots.txtでKlaviyoAIBotのロボットルールを使用してください。ファイルの編集についてサポートが必要な場合は、ウェブサイト管理者にお問い合わせください。カスタマーエージェントですでにインデックス化されているコンテンツを削除するには、ナレッジからソースを削除してください。

ボットは一時的な減速シグナルに従いますか？
カスタマーエージェントは、HTTP 429を返すページリクエストを再試行する前に待機します。再試行の間隔は、再試行を重ねるごとに長くなります。その待機の設定にRetry-Afterは使用されず、また503レスポンスでも同じページリクエストの再試行動作はトリガーされません。

データの利用とプライバシー

KlaviyoAIBot は、コンテンツ生成、AI による回答、商品レコメンデーションなどの AI 機能を支えるためにコンテンツを取得します。クロールされたコンテンツはアカウントに紐づき、設定に従います。

自動同期により、カスタマーエージェントは一般公開されているソースページからインデックス済みコンテンツを定期的に更新できます。自動同期が有効になっていないソースは、コンテンツを更新するために手動で再同期する必要があります。ソースを更新するには、Knowledgeで開き、Resyncを選択してください。

ウェブサイトの再同期が完了すると、カスタマーエージェントはサイトのサイトマップに含まれなくなった、またはrobots.txtで許可されていないインデックス済みのサブページを削除します。削除はウェブサイトの再同期が正常に完了したタイミングによって異なるため、サイト上の変更によってインデックス済みのコンテンツがすぐに削除されるわけではありません。コンテンツを直接削除するには、Knowledgeからそのソースを削除してください。

カスタマーエージェントからソースを削除すると、Klaviyoはそのソースとインデックス化されたサブページをアカウントのナレッジベースから削除します。

IP 範囲は公開していますか？

いいえ。検証は静的な IP 許可リストではなく、暗号署名と Cloudflare の Verified Bots プログラムに基づいて行われます。

その他のリソース