01Hoe het werkt
Hoe werkt robots.txt?
Een robots.txt staat altijd op hetzelfde adres: je domein met /robots.txt erachter. Een crawler leest dat bestand voordat hij iets anders ophaalt. Het bestaat uit groepen: een regel User-agent zegt voor welke crawler de groep geldt, en daaronder bepalen Allow en Disallow welke paden hij wel en niet mag ophalen.
De regels zijn sinds september 2022 vastgelegd in een standaard van de IETF: RFC 9309, het Robots Exclusion Protocol. Google volgt die standaard en beschrijft eigen details. Google leest hoogstens 500 KiB van het bestand, bewaart het meestal tot 24 uur, en kiest per crawler de meest specifieke groep; de andere groepen negeert het. Bij twee regels voor hetzelfde pad wint de meest specifieke, en bij een gelijke stand de minst beperkende.
Belangrijk: robots.txt is een verzoek, geen slot. De standaard zegt zelf dat de regels geen vorm van toegangsbeveiliging zijn, en Google schrijft dat niet elke crawler ze volgt. Een pagina die je blokkeert, kan bovendien toch in Google verschijnen, zonder beschrijving, als andere sites ernaar linken. Wil je een pagina uit Google houden, gebruik dan een noindex-tag of een wachtwoord.
02Een voorbeeld
Hoe ziet een robots.txt eruit?
In de praktijk is een robots.txt een kort bestand. Hieronder dat van een verzonnen webshop: de winkelwagen en de interne zoekresultaten zijn dicht voor alle crawlers, de zoekcrawler van ChatGPT krijgt een eigen groep, en onderaan staat het adres van de sitemap. Let op de valkuil bij regel 7.
Een robots.txt met een eigen groep voor ChatGPT
Voorbeeldhttps://www.example.nl/robots.txt
# Voor elke crawler zonder eigen groepUser-agent: *Disallow: /winkelwagen/Disallow: /zoeken/ # De zoekcrawler van ChatGPTUser-agent: OAI-SearchBotAllow: / Sitemap: https://www.example.nl/sitemap.xml- 1. User-agent: * geldt voor elke crawler die verderop geen eigen groep heeft, zoals Googlebot in dit bestand.
- 2. Disallow sluit een pad af voor crawlen. Een winkelwagen of interne zoekpagina hoeft niet in Google; ophalen kost alleen tijd.
- 3. De valkuil: een crawler met een eigen groep volgt alleen die groep. OAI-SearchBot mag hier dus ook in /winkelwagen/. Wil je dat niet, herhaal dan de Disallow-regels in deze groep.
- 4. De regel Sitemap wijst crawlers naar je XML-sitemap, met het volledige adres.
03Waarom het ertoe doet
Waarom doet robots.txt ertoe voor Google en AI?
robots.txt doet ertoe omdat één regel een hele site onzichtbaar kan maken voor Google of voor een AI-dienst. Een Disallow: / onder de verkeerde User-agent, bijvoorbeeld blijven staan uit een testomgeving, sluit de crawler buiten. Omgekeerd bepaal je er per AI-crawler mee of die je pagina's mag ophalen voor zoekantwoorden of voor training.
Voor AI Overviews en AI Mode noemt Google het toestaan van crawlen in robots.txt als eerste advies. AI-diensten scheiden hun crawlers vaak naar doel: met een Disallow voor GPTBot weiger je training door OpenAI, terwijl OAI-SearchBot je pagina's kan blijven ophalen voor de zoekantwoorden van ChatGPT. Een wijziging werkt daar volgens OpenAI na ongeveer 24 uur door. Google heeft het token Google-Extended voor Gemini; dat heeft volgens Google geen invloed op je plek in Google Zoeken.
Hoe Nederlandse sites die keuze maken, hebben wij gemeten. Van de 1.000 meest bezochte .nl-domeinen konden we op 29 september 2026 van 829 de robots.txt lezen: 12,5% blokkeert GPTBot en 6,6% OAI-SearchBot, en 83,6% noemt GPTBot niet eens. Bij nieuwsmedia blokkeert 90,2% GPTBot. Alles staat in welke Nederlandse sites AI-crawlers blokkeren.
“De duurste regel die wij in een robots.txt tegenkomen, is een Disallow: / die na de lancering is blijven staan. Kijk daarom na elke livegang eerst naar dit bestand.”
04Wat je ermee doet
Hoe controleer je je robots.txt?
Met robots.txt controleer je eerst of Google en de zoekcrawlers van AI-diensten je belangrijke pagina's mogen ophalen. Daarna kies je bewust wat je dichtzet: paden zonder waarde voor zoekers, en eventueel de trainingscrawlers. Pagina's die uit Google moeten, regel je met noindex, niet met robots.txt.
- 1
Open je eigen bestand
Typ je domein met /robots.txt erachter in de browser. Geen bestand betekent dat alles mag: Google behandelt een 404 als een site zonder beperkingen.
- 2
Zoek naar Disallow: /
Staat die regel onder User-agent: * of onder Googlebot, dan sluit je Google buiten. Controleer ook de groepen voor AI-crawlers, met de AI-crawlercheck.
- 3
Herhaal regels in elke groep
Een crawler met een eigen groep negeert de groep User-agent: *. Zet regels die voor iedereen gelden dus ook in de groepen met een naam.
- 4
Houd pagina's uit Google met noindex
Niet met robots.txt: een geblokkeerde pagina kan Google niet ophalen, dus ziet het de noindex nooit. Meer in technische SEO.
Veelgestelde vragen
Wat betekent .txt in robots.txt?
.txt is de extensie van een gewoon tekstbestand, zonder opmaak. robots.txt is dus platte tekst die je in elke teksteditor kunt openen en bewerken, zoals Kladblok of TextEdit. De naam ligt vast: crawlers zoeken het bestand altijd onder precies die naam, in kleine letters, in de hoofdmap van je domein.
Hoe bekijk je de robots.txt van een website?
Typ het domein in je browser met /robots.txt erachter, bijvoorbeeld www.example.nl/robots.txt. Het bestand is openbaar, dus dat kan bij elke site, ook bij die van je concurrent. Krijg je een foutpagina, dan heeft de site geen robots.txt en neemt Google aan dat er geen beperkingen zijn. Een subdomein, zoals shop.example.nl, heeft een eigen bestand.
Houdt robots.txt een pagina uit Google?
Nee. Google schrijft zelf dat robots.txt geen manier is om een pagina uit Google te houden. Een geblokkeerde pagina kan toch in de zoekresultaten verschijnen, zonder beschrijving, als andere sites ernaar linken. Wil je een pagina uit Google, laat Google haar dan ophalen en zet er een noindex-tag op, of zet haar achter een wachtwoord.
Bronnen
- Introduction to robots.txt · Google Search Central, gelezen op 29 september 2026Welke URL's een crawler mag ophalen; geen manier om een pagina uit Google te houden.
- How Google interprets the robots.txt specification · Google Search Central, gelezen op 30 september 2026Maximaal 500 KiB, meestal tot 24 uur bewaard, één groep per crawler, een 404 betekent geen beperkingen.
- RFC 9309: Robots Exclusion Protocol · M. Koster, G. Illyes, H. Zeller en L. Sassman, IETF, september 2022, gelezen op 30 september 2026De standaard achter robots.txt. De regels zijn uitdrukkelijk geen vorm van toegangsbeveiliging.
- Block Search indexing with noindex · Google Search Central, gelezen op 30 september 2026Een pagina met noindex verdwijnt uit Google, maar alleen als robots.txt haar niet blokkeert: anders ziet Google de noindex nooit.
- Overview of OpenAI crawlers · OpenAI, gelezen op 30 september 2026OAI-SearchBot haalt pagina's op voor de zoekfunctie van ChatGPT, GPTBot teksten voor training. Een wijziging in robots.txt werkt na ongeveer 24 uur.
- Google's common crawlers · Google for Developers, gelezen op 30 september 2026De user-agent van Googlebot; Google-Extended heeft geen invloed op opname of positie in Google Zoeken.
- Welke Nederlandse websites blokkeren AI-crawlers? · AI Digitals, onderzoekOnze meting van 29 september 2026: de robots.txt van 1.492 Nederlandse websites, met per site de status van elke AI-crawler.
Door Jaap Meijer, oprichter van AI DigitalsOver de auteurLaatst bijgewerkt: