Hoe laat ik AI-zoekdiensten mijn website lezen?

Controleer de volledige toegangsroute: robots.txt, de webserver en eventuele CDN-beveiliging. Het doel is dat de openbare inhoud bereikbaar is voor de zoekdiensten die u wilt ondersteunen. De beheerdersomgeving en klantgegevens blijven afgeschermd.

Niet iedere AI-bot doet hetzelfde

OpenAI onderscheidt OAI-SearchBot voor zoeken, GPTBot voor training en ChatGPT-User voor bepaalde gebruikersacties. Perplexity onderscheidt PerplexityBot voor zoekbronnen en Perplexity-User voor gebruikersverzoeken. Bekijk de OpenAI-documentatie en Perplexity-documentatie voordat u instellingen verandert.

Vier concrete controles

1. Openbare pagina: krijgt een gewone bezoeker een werkende pagina met de juiste inhoud?
2. Robotsbeleid: welke regels gelden voor de gewenste crawler en voor de belangrijkste pagina’s?
3. Beveiliging: wordt het verzoek onderweg geblokkeerd of krijgt het een uitdaging die een crawler niet kan afronden?
4. Inhoud: is de belangrijke informatie in tekst aanwezig en bereikbaar via links?

Gebruik een echte log of een aantoonbaar verzoek waar mogelijk. Alleen de naam van een bot meesturen bewijst niet dat het verzoek van de aanbieder komt. Geef daarom geen willekeurige bezoekers extra toegang op basis van hun zelfgekozen botnaam.

Laat uw beheerder gericht wijzigen

Een goed verzoek aan de beheerder noemt de exacte URL, het tijdstip, de response en de gewenste zoekdienst. Bijvoorbeeld: “Deze openbare dienstpagina levert een blokkade op; wilt u onderzoeken welke regel dat veroorzaakt?” Dat is concreter dan vragen om alle beveiliging uit te zetten.

Wat betekent een geslaagde controle?

Een werkende toegangstest toont dat de pagina tijdens die test bereikbaar was. Daarna moeten zoekdiensten uw informatie nog ontdekken en verwerken. U kunt toegang verbeteren, maar u bepaalt niet welk bedrijf een antwoord noemt.

De Crydogs-onderzoeksaanpak legt uit hoe we die verschillende resultaten rapporteren. Wilt u uw eigen website laten controleren, vraag dan de scan aan.