Hoe KlaviyoAIBot werkt

Lees meer over KlaviyoAIBot, inclusief:

• Wat het is en wat het crawlt
• Hoe je authentieke verzoeken herkent
• Hoe crawlen siteregels respecteert en hoe je dit beheert

Dit artikel is voor iedereen die verkeer van KlaviyoAIBot ziet en wil bevestigen of het legitiem is, of wil aanpassen hoe het mag crawlen.

Wat is KlaviyoAIBot?

KlaviyoAIBot is een user-agent die wordt gebruikt door de AI-functies van Klaviyo, waaronder Klantenserviceagent. Voor Klantenserviceagent haalt KlaviyoAIBot openbaar beschikbare pagina's op van domeinen en URL's die aan je account zijn gekoppeld. Door deze content te indexeren, kan Klaviyo AI-ervaringen afstemmen, zowel op je website als binnen Klaviyo. Dit is handig voor het genereren van content, AI-antwoorden en productaanbevelingen.

Je kunt bronnen toevoegen naast je primaire storefront, waaronder Helpcentra (zoals Zendesk), blogs en nieuwsartikelen. KlaviyoAIBot logt niet in om toegang te krijgen tot pagina’s achter authenticatie of betaalmuren.

Zo werkt het

• Toestemming en bereik
  Klantenserviceagent scant je gekoppelde webshop en aanvullende bronnen die je toevoegt. Zo kan het bijvoorbeeld openbare Shopify-pagina's crawlen die zijn gekoppeld aan je Klaviyo-account, maar het zoekt niet op Wikipedia naar gerelateerde content.
• Respect voor siteregels
  Klantenserviceagent controleert robots.txt bij het kiezen van pagina's uit de sitemap van je site. Het Robots Exclusion Protocol (REP) is gedefinieerd in RFC 9309.
• Beleefdheid
  Wanneer een paginaverzoek een HTTP 429 ontvangt, wacht de Klantenserviceagent voordat hij het opnieuw probeert, met langere wachttijden tussen pogingen. Deze nieuwe pogingen gebruiken de Retry-After -header niet om de wachttijd in te stellen.
• Opnieuw bezoeken
  Klantenserviceagent doorzoekt bronnen periodiek opnieuw waarvoor automatisch synchroniseren is ingeschakeld. De frequentie varieert op basis van wijzigingssignalen en je configuratie.

Hoe je KlaviyoAIBot identificeert

De user-agent identificeert crawlerverkeer, terwijl HTTP-berichthandtekeningen helpen om de herkomst te verifiëren.

Behandel aanvragen als niet-geverifieerd, tenzij je hun handtekeningen kunt valideren of hun identiteit kunt bevestigen via Cloudflare. Een user-agent-string alleen bewijst niet dat een verzoek van Klaviyo kwam.

User-agent

KlaviyoAIBot/1.0 (+https://help.klaviyo.com/hc/nl-nl/articles/40496146232219)

Na een HTTP 400- of 403-respons kan Klantenserviceagent een paginaverzoek opnieuw proberen zonder deze user-agent wanneer robots.txt toegang toestaat. Gebruik handtekeningverificatie om deze verzoeken te identificeren.

HTTP-berichtondertekeningen (webbotauthenticatie)

Klantenserviceagent ondertekent zijn pagina-, sitemap- en robots.txt-verzoeken met HTTP Message Signatures RFC 9421 en Web Bot Auth van Cloudflare. Je kunt dit gebruiken om te verifiëren dat het verzoek echt afkomstig is van KlaviyoAIBot, zonder te vertrouwen op IP-allowlists.

Ondertekende verzoeken bevatten de headers Signature-Agent, Signature-Input en Signature. Valideer de handtekening met de openbare-sleutel-directory van Klaviyo public key directory; de aanwezigheid van alleen deze headers is geen bewijs van authenticiteit.

Tip: Als je site achter Cloudflare zit en Web Bot Auth-verificatie is ingeschakeld, kan Cloudflare de handtekeningen van Klaviyo valideren en geverifieerd verkeer markeren met cf.bot_management.verified_bot = waar. Dit veld identificeert geverifieerde bots in het algemeen; het is niet specifiek voor Klaviyo. Houd rekening met die reikwijdte wanneer je het gebruikt in WAF-regels.

Ik zie verkeer dat zegt dat het KlaviyoAIBot is. Hoe weet ik of het echt is?
Als je Cloudflare gebruikt, controleer dan de geverifieerde status en botidentiteit van het verzoek. Als je geen Cloudflare gebruikt, valideer dan de HTTP Message Signature-headers aan de hand van de openbare-sleuteldirectory van Klaviyo volgens RFC 9421 en Web Bot Auth.

Wat KlaviyoAIBot crawlt

• Je webshop
  Het e-commerce domein dat is gekoppeld aan Klaviyo.
• Aanvullende bronnen
  Andere bronnen die je toevoegt aan Klantenserviceagent, zoals Helpcentrum (bijv. Zendesk), documentatieportals, kennisbanken, blogs en nieuwsartikelen.
• Openbare content
  Gebruik openbaar toegankelijke pagina's als bronnen. Robots-regels sturen website-scans; ze beschermen geen privécontent. Gebruik authenticatie of andere toegangscontroles voor privépagina’s.

Crawlen beheren of beperken

• Robots.txt
  Voeg robotsregels toe voor de KlaviyoAIBot-user-agent of werk ze bij om te bepalen welke sitemap-pagina's worden opgenomen in website-scans. Ontdek meer over robots.txt en REP.
• Tijdelijke vertragingen
  Stuur HTTP 429 terug om de Klantenserviceagent te laten wachten voordat die paginaverzoeken opnieuw probeert. Vertrouw niet op 503-reacties of Retry-After om die wachttijd voor opnieuw proberen in te stellen.
• Kies wat er is verbonden
  Je kunt de domeinen en URL's die zijn verbonden met de Klantenserviceagent in Kennis toevoegen of verwijderen.

Als je een bron wilt verwijderen, heb je toestemming nodig om Klantenserviceagent te bewerken. Als je een websitebron verwijdert, worden ook de geïndexeerde onderliggende pagina's verwijderd.

1. Open Klantenserviceagent > Kennis en selecteer de bron die je wilt verwijderen.
2. Open Meer acties en selecteer Verwijderen. De bron wordt verwijderd en je gaat terug naar de pagina Kennis.

Kan ik een specifiek gedeelte van mijn site blokkeren?
Ja. Gebruik robots-regels voor KlaviyoAIBot in robots.txt om die paden uit te sluiten bij website-scans. Als je hulp nodig hebt bij het bewerken van het bestand, neem dan contact op met je websitebeheerder. Om content te verwijderen die al is geïndexeerd in Klantenserviceagent, verwijder je de bron uit Knowledge.

Houdt de bot zich aan tijdelijke vertragingssignalen?
Klantenserviceagent wacht voordat pagina-aanvragen opnieuw worden geprobeerd die HTTP 429 retourneren. De wachttijd neemt toe tussen nieuwe pogingen. De bot gebruikt Retry-After niet om die vertraging in te stellen, en een 503-respons leidt niet tot hetzelfde gedrag waarbij pagina-aanvragen opnieuw worden geprobeerd.

Datagebruik en privacy

KlaviyoAIBot haalt content op om AI-functies mogelijk te maken, zoals contentgeneratie, AI-antwoorden en productaanbevelingen. Gecrawlde content is gekoppeld aan je account en volgt jouw instellingen.

Automatisch synchroniseren zorgt ervoor dat de Klantenserviceagent periodiek geïndexeerde content bijwerkt vanaf openbaar beschikbare bronpagina's. Bronnen waarvoor automatisch synchroniseren niet is ingeschakeld, moeten handmatig opnieuw worden gesynchroniseerd om hun content te vernieuwen. Om een bron te vernieuwen, open je deze in Kennis en selecteer je Opnieuw synchroniseren.

Tijdens een voltooide resync van de website verwijdert Klantenserviceagent geïndexeerde subpagina's die niet langer in de sitemap van de site staan of die niet zijn toegestaan door robots.txt. Verwijdering is afhankelijk van wanneer de website met succes opnieuw is gesynchroniseerd, dus een wijziging op je site verwijdert geïndexeerde content niet meteen. Als je content direct wilt verwijderen, verwijder je de bron ervan uit Knowledge.

Wanneer je een bron verwijdert uit Klantenserviceagent, verwijdert Klaviyo die bron en de geïndexeerde subpagina’s ervan uit de kennisbank van je account.

Publiceer je IP-bereiken?

Nee. Verificatie is gebaseerd op cryptografische handtekeningen en het programma Verified bots van Cloudflare, in plaats van statische IP-allowlists.

Extra hulpbronnen