Wat is robots.txt en wat doet het?
Een robots.txt is een klein tekstbestand in de hoofdmap van je website (jouwdomein.nl/robots.txt) dat crawlers vertelt welke delen van je site ze mogen bezoeken. Google, Bing en de meeste AI-crawlers lezen dat bestand voordat ze aan je pagina's beginnen. Met de generator hierboven maak je er in een minuut een, afgestemd op het type site.
Het bestand bestaat uit blokken. Een regel met User-agent zegt voor welke crawler het blok geldt (een sterretje betekent iedereen), daarna volgen regels met Disallow voor paden waar de crawler weg moet blijven en Allow voor uitzonderingen. Onderaan staat meestal de plek van je sitemap, zodat een zoekmachine al je pagina's sneller vindt.
Houdt robots.txt een pagina uit Google?
Meestal niet en juist die misvatting kom ik het vaakst tegen. Met robots.txt vraag je Google om een pagina niet te lezen. Linken andere sites naar dat adres, dan kan Google het toch opnemen en krijg je een zoekresultaat zonder beschrijving. Google zegt dat zelf ook in de uitleg over robots.txt.
Wil je een pagina echt uit de zoekresultaten houden, gebruik dan een noindex-tag in de pagina zelf of zet er een wachtwoord op. Laat die pagina in robots.txt dan juist open, want Google moet de pagina kunnen lezen om de noindex te zien.
Welke fouten zie ik het vaakst?
- De hele site dicht. Eén regel
Disallow: /onderUser-agent: *en zoekmachines mogen nergens meer komen. Dat gebeurt vaak na een nieuwe website, als het slot van de testomgeving is blijven zitten. Krijgt een installateur sinds zijn nieuwe site opvallend weinig aanvragen, dan is dit het eerste bestand dat ik open. - Opmaak en scripts geblokkeerd. Oudere bestanden zetten mappen met CSS en JavaScript dicht. Google kan je pagina dan niet opbouwen zoals een bezoeker hem ziet.
- Geheime mappen in een openbaar bestand. Iedereen kan je robots.txt lezen. Wie er
/klantdossiers/in zet, wijst precies aan waar die map staat. - Een pad dat te veel meeneemt. Een regel werkt op het begin van een adres, dus
Disallow: /blogblokkeert ook /blogarchief/ en /blog-over-ons/. Paden zijn hoofdlettergevoelig, waardoor /Offerte/ en /offerte/ voor een crawler twee adressen zijn. - Geen sitemap-regel. Eén regel extra wijst een zoekmachine direct naar al je pagina's.
Moet ik AI-crawlers blokkeren?
Dat hangt af van wat je wilt, want AI-bedrijven sturen verschillende crawlers op pad voor verschillende doelen. De ene verzamelt tekst om taalmodellen te trainen. De andere zoekt pagina's op om ze in een antwoord te tonen, met een link naar jouw site. Voor een advocatenkantoor of accountant die klanten wil trekken via ChatGPT is dat tweede soort bezoek precies waar je op zit te wachten.
| Crawler | Van | Waarvoor | Als je hem blokkeert |
|---|---|---|---|
| GPTBot | OpenAI | Training van modellen | Je tekst wordt voortaan overgeslagen bij training |
| OAI-SearchBot | OpenAI | Zoekresultaten in ChatGPT | Je verschijnt volgens OpenAI niet in de zoekantwoorden van ChatGPT |
| ClaudeBot | Anthropic | Training van modellen | Nieuwe tekst gaat niet mee in training |
| Claude-SearchBot | Anthropic | Zoekresultaten in Claude | Minder zichtbaar in zoekantwoorden van Claude |
| PerplexityBot | Perplexity | Zoekresultaten in Perplexity | Minder zichtbaar in Perplexity |
| Google-Extended | Training van Gemini | Volgens Google geen invloed op Google Zoeken | |
| Applebot-Extended | Apple | Training van Apple Intelligence | Volgens Apple geen invloed op zoeken in Safari en Siri |
Voor de meeste bedrijven kies ik de voorinstelling "Wel zoeken, geen training" in de tool. De zoekcrawlers mogen erin, de trainingscrawlers blijven buiten en je houdt de kans om genoemd te worden in ChatGPT en Perplexity. Blokkeer je OAI-SearchBot uit voorzichtigheid, dan sluit je jezelf buiten bij precies de vragen die je klanten daar stellen. Wat GEO is en waarom zichtbaarheid in AI-antwoorden telt, lees je in wat is GEO.
Eerlijk is eerlijk: tekst die al eerder is verzameld haal je met een nieuwe regel niet terug. Bots die komen omdat een gebruiker om een pagina vraagt, zoals ChatGPT-User en Perplexity-User, volgen robots.txt volgens OpenAI en Perplexity zelf lang niet altijd.
Hoe gebruik je de generator?
- Kies het type site. Bij WordPress zet de tool /wp-admin/ dicht en laat /wp-admin/admin-ajax.php open, omdat veel plugins dat bestand aan de voorkant van je site gebruiken. Bij een webshop komen winkelwagen, afrekenen en mijn-account erbij, want die pagina's leveren in Google niets op.
- Vul het adres van je sitemap in. Bij WordPress is dat vaak /wp-sitemap.xml of /sitemap_index.xml als je een SEO-plugin gebruikt.
- Voeg eigen paden toe, bijvoorbeeld de filterpagina's van een opleider met honderden filtercombinaties.
- Kies per AI-crawler of je hem toestaat of blokkeert.
- Kopieer of download het bestand en zet het in de hoofdmap van je site. Controleer daarna in het robots.txt-rapport van Google Search Console of Google de nieuwe versie heeft opgehaald.
Heb je al een robots.txt, haal hem dan eerst op met de knop in de tool. Staat je hele site dicht, dan zie je dat meteen.
En als je site ondanks een goede robots.txt niet gevonden wordt?
Dan zit het probleem ergens anders. Een vergeten noindex, een trage server of dunne teksten houden je net zo goed buiten beeld. In website niet vindbaar in Google loop ik de oorzaken stap voor stap na. Met de indexcheck zie je of Google een pagina heeft opgenomen en de gratis SEO-check vindt een verdwaalde noindex.
Deze generator maakt één bestand op één moment. Findori doet een technische controle van je hele site met ruim 25 punten, kijkt of Google je pagina's kan bereiken en opnemen en zet klaar wat er beter kan. Wil je weten of ChatGPT je bedrijf noemt, kijk dan bij vindbaar in AI. En zet dat slot van de testomgeving er vandaag nog af, als het er nog op zit.