robots.txt is de poortwachter. Het somt user-agents op (waaronder AI-crawlers zoals GPTBot, PerplexityBot, Google-Extended en ClaudeBot) en wat elk mag ophalen. Blokkeer de verkeerde bot en je maakt jezelf volledig onzichtbaar voor dat AI-systeem.
In een agentic wereld krijgt dit bestand nieuw gewicht: hier verwelkom je expliciet — of sluit je per ongeluk uit — juist de agents door wie je gevonden wilt worden. Het regelt toegang, terwijl llms.txt betekenis toevoegt.
Met "User-agent: GPTBot / Allow: /" geef je aan dat de crawler van OpenAI welkom is; een onzorgvuldige "Disallow: /" voor alle bots zou je stilletjes uit AI-antwoorden snijden.
Waarom dit telt voor AI-vindbaarheid
Als AI-crawlers je pagina's niet kunnen bereiken, doet al je andere optimalisatie er niet toe. Een correcte robots.txt is de randvoorwaarde voor agentic findability — het verschil tussen leesbaar zijn en buitengesloten worden.