Technische SEO: de checklist voor Google en AI-crawlers

Technische SEO zorgt dat Google en AI-crawlers je site kunnen ophalen, lezen en opnemen. Google stelt drie minimumeisen: Googlebot is niet geblokkeerd, de pagina geeft status 200 en de inhoud is indexeerbaar. Daarna tellen noindex, canonieke URL's, HTTPS en tekst in de HTML: de crawlers van OpenAI, Anthropic en Perplexity voerden in een meting van Vercel geen JavaScript uit.

3 eisen

stelt Google minimaal: Googlebot niet geblokkeerd, status 200 en indexeerbare inhoud

Bron: Google Search Central, bijgewerkt 18 december 2025

0 van 5

AI-crawlers van OpenAI, Anthropic en Perplexity voerde JavaScript uit in de meting van Vercel en MERJ

Bron: Vercel en MERJ, december 2024

24 uur

duurt het ongeveer voor een wijziging in robots.txt doorwerkt in de zoekresultaten van ChatGPT

Bron: OpenAI, gelezen op 29 september 2026

Door , oprichterOver de auteurLaatst bijgewerkt:

Gratis websitecheck

Vul je domein in en je krijgt direct een rapportcijfer voor vindbaarheid, techniek, AI-leesbaarheid en snelheid, met de drie punten om mee te beginnen.

Wat is technische SEO?

Technische SEO is het deel van SEO dat zorgt dat zoekmachines en AI-crawlers je pagina's kunnen vinden, ophalen, lezen en opnemen. Het gaat niet over wat er in je tekst staat, maar over of die tekst ooit aankomt. Google werkt in drie stappen, crawlen, indexeren en resultaten tonen, en niet elke pagina haalt elke stap.

De wandeling van een crawler

Voorbeeld: één pagina, twee crawlers, vijf poorten.

Beide crawlers komen door alle vijf de poorten. Googlebot voert de JavaScript uit, OAI-SearchBot leest alleen de HTML; op deze site staat de tekst in allebei.

Voorbeeld van één pagina, gelopen door Googlebot en OAI-SearchBot, de zoekcrawler van ChatGPT. Wat elke crawler per poort doet, komt uit de documentatie van Google en OpenAI, gelezen op 29 september 2026; dat de AI-crawler geen JavaScript uitvoert, uit de meting van Vercel en MERJ (december 2024). Waar OpenAI een stap niet beschrijft, staat een vraagteken. De tabel hieronder heeft elke poort voor beide crawlers.
De vijf poorten van een crawler: wat Googlebot en OAI-SearchBot doen, en waar de wandeling stopt
PoortGooglebotOAI-SearchBotHier stopt het
1. robots.txtLeest robots.txt voordat hij een pagina ophaalt. Geeft het bestand een serverfout, dan crawlt Google de eerste 12 uur niets.Volgt robots.txt. Wie OAI-SearchBot uitsluit, verschijnt niet in de zoekantwoorden van ChatGPT, hooguit als navigatielink.Een Disallow voor die crawler, of een firewall die hem weert.
2. Sitemap en linksVindt pagina's via links en via je sitemap. Een sitemap garandeert niet dat alles gecrawld wordt.OpenAI zegt niet of OAI-SearchBot sitemaps leest.Geen harde stop, wel een omweg: een pagina zonder links en zonder sitemap wordt misschien nooit gevonden.
3. OphalenNeemt alleen pagina's met status 200 op. Een 4xx-pagina gebruikt Google niet; bij 5xx remt hij het crawlen af.Haalt de HTML van de pagina op.Een foutcode (404, 500) of een inlogscherm.
4. RenderenRendert de pagina in een recente versie van Chrome en voert JavaScript uit, soms na een wachtrij.Voert geen JavaScript uit in de meting van Vercel en MERJ (december 2024): hij leest alleen de HTML.Tekst die pas met JavaScript op de pagina komt: de AI-crawler ziet hem niet.
5. OpnemenKiest de canonieke versie en neemt de pagina op, tenzij er noindex staat. Opname is niet gegarandeerd.Kan de pagina tonen in ChatGPT-zoeken. OpenAI zegt niet of noindex daarbij meetelt.Een noindex, bijvoorbeeld blijven staan van de testomgeving.

Zo beschrijft Google het zelf: een crawler vindt een pagina via een link of je sitemap, haalt hem op, rendert hem in een recente versie van Chrome en bepaalt daarna of hij in de index komt, en welke versie van een dubbele pagina de canonieke is. Opname is nooit gegarandeerd, ook niet als alles klopt. Het omgekeerde wel: één dichte poort en de pagina komt er niet in.

ChatGPT, Claude en Perplexity hebben eigen crawlers, met eigen regels. Die lopen niet mee met Googlebot: dat je in Google staat, zegt niet dat ze je kunnen lezen. Waar hun documentatie een stap niet noemt, zoals de sitemap, staat dat hierboven als niet gedocumenteerd.

Techniek is een van de drie pijlers van SEO, naast content en autoriteit. Hoe die samenwerken, lees je in wat is SEO.

Welke technische punten wegen het zwaarst?

De drie die Google zelf de minimumeisen noemt: Googlebot is niet geblokkeerd, de pagina werkt met status 200, en de inhoud is indexeerbaar. Mist er één, dan kan de pagina niet in Google komen, hoe goed de rest ook is. Voor AI-crawlers komen er twee bij: ze moeten erin mogen, en de tekst moet in de HTML staan.

Onze indeling, op basis van Google Search Central, gelezen op 29 september 2026. Laag 1 zijn Google's drie minimumeisen plus toegang en tekst in de HTML voor AI-crawlers. Laag 2 helpt Google vinden, kiezen en ranken. Laag 3, crawlbudget, noemt Google alleen voor sites met meer dan 1 miljoen pagina's, of meer dan 10.000 die dagelijks veranderen.
Wat het zwaarst weegt in technische SEO, volgens Google Search Central, gelezen op 29 september 2026
PuntWat Google zegtWat er misgaat
Googlebot niet geblokkeerdGoogle neemt alleen openbare pagina's op die Googlebot niet blokkeren. Een pagina achter een inlog crawlt hij niet, en een blokkade voor de index houdt hem eruit.Een Disallow in robots.txt, een noindex, een inlogscherm of een firewall.
Status 200Google neemt alleen pagina's op die status 200 geven. Foutpagina's van de client (4xx) of de server (5xx) komen niet in de index.Een 404 na een verhuizing zonder omleiding, of een server die 5xx-fouten geeft.
Indexeerbare inhoudDe tekst staat in een bestandstype dat Google ondersteunt en overtreedt het spambeleid niet.Tekst die alleen in een afbeelding of video zit, of een pagina die het spambeleid schendt.
Eén canonieke URLEen omleiding en rel="canonical" zijn sterke signalen, opname in de sitemap een zwak signaal. Geef je niets op, dan kiest Google zelf.Dezelfde pagina onder meerdere adressen, met een andere canonical in de sitemap dan op de pagina.
CrawlbudgetAlleen een onderwerp voor sites met meer dan 1 miljoen pagina's, of meer dan 10.000 pagina's die dagelijks veranderen.Voor de meeste mkb-sites niets: een actuele sitemap en het rapport Pagina-indexering volstaan.

Mogen AI-crawlers je site lezen?

Ja, als je robots.txt ze niet blokkeert: zonder regel voor hun naam volgen ze de algemene regel. De grote AI-bedrijven scheiden hun crawlers naar doel: training, zoeken, en ophalen op vraag van een gebruiker. Wil je in de antwoorden van ChatGPT, Claude of Perplexity staan, laat dan in elk geval hun zoekcrawlers toe; training mag je apart uitsluiten.

Welke crawler laat je binnen?

Zet een doel open of dicht. Het robots.txt eronder schrijft zich mee.

Training van AI-modellen

  • OpenAI

    GPTBot

  • Anthropic

    ClaudeBot

  • Perplexity

    Geen: PerplexityBot wordt niet gebruikt om modellen te trainen

  • Google

    Google-Extended

    Geen eigen crawler maar een controletoken: Google haalt de pagina op met zijn gewone crawlers.

Zoekresultaten in de AI-dienst

  • OpenAI

    OAI-SearchBot

  • Anthropic

    Claude-SearchBot

  • Perplexity

    PerplexityBot

  • Google

    Googlebotaltijd open laten

Ophalen op vraag van een gebruiker

  • OpenAI

    ChatGPT-User

    Bezoekt een pagina als een gebruiker iets vraagt; robots.txt geldt daarbij mogelijk niet.

  • Anthropic

    Claude-User

  • Perplexity

    Perplexity-User

    Haalt een pagina op als een gebruiker iets vraagt en negeert robots.txt doorgaans.

  • Google

    Geen eigen regel: voor AI Overviews en AI Mode geldt die van Googlebot

robots.txt

User-agent: *
Allow: /

Sitemap: https://jouwdomein.nl/sitemap.xml

Vervang jouwdomein.nl door je eigen domein. Het bestand hoort in de hoofdmap van je site.

Wat er dan gebeurt

Alles open: de algemene regel User-agent: * met Allow: / is dan genoeg. Een naam noem je alleen apart als je hem iets anders wilt laten doen.

Wat elke crawler doet en wat blokkeren oplevert, komt uit de eigen documentatie van OpenAI, Anthropic (bijgewerkt 7 april 2026), Perplexity (bijgewerkt 29 januari 2026) en Google (bijgewerkt 14 juli 2026), gelezen op 29 september 2026. De kiezer zet Googlebot nooit dicht: dan verdwijn je uit Google Zoeken.
AI-crawlers en hun doel, volgens de documentatie van OpenAI, Anthropic, Perplexity en Google, gelezen op 29 september 2026
Naam in robots.txtVanWaarvoorBlokkeer je hem
GPTBotOpenAITraining van AI-modellenJe inhoud wordt niet gebruikt voor de training van OpenAI's generatieve modellen.
OAI-SearchBotOpenAIZoekresultaten in de AI-dienstJe site verschijnt niet in de zoekantwoorden van ChatGPT, hooguit als navigatielink.
ChatGPT-UserOpenAIOphalen op vraag van een gebruiker. Bezoekt een pagina als een gebruiker iets vraagt; robots.txt geldt daarbij mogelijk niet.Bepaalt niet of je in de zoekresultaten van ChatGPT komt.
ClaudeBotAnthropicTraining van AI-modellenJe toekomstige inhoud blijft buiten de trainingsdata van Anthropic's modellen.
Claude-SearchBotAnthropicZoekresultaten in de AI-dienstJe inhoud wordt niet geïndexeerd voor zoeken in Claude; je kunt minder zichtbaar worden.
Claude-UserAnthropicOphalen op vraag van een gebruikerClaude kan je pagina niet ophalen als een gebruiker ernaar vraagt.
PerplexityBotPerplexityZoekresultaten in de AI-dienstPerplexity raadt aan hem toe te laten, zodat je site in de zoekresultaten van Perplexity kan verschijnen.
Perplexity-UserPerplexityOphalen op vraag van een gebruiker. Haalt een pagina op als een gebruiker iets vraagt en negeert robots.txt doorgaans.Heeft weinig effect: deze fetcher negeert robots.txt doorgaans.
Google-ExtendedGoogleTraining van AI-modellen. Geen eigen crawler maar een controletoken: Google haalt de pagina op met zijn gewone crawlers.Je inhoud wordt niet gebruikt voor de training van Gemini-modellen en niet voor grounding in de Gemini-apps en Vertex AI. Google Zoeken merkt er niets van.
GooglebotGoogleZoekresultaten in de AI-dienstJe verdwijnt uit Google Zoeken, ook uit AI Overviews en AI Mode.

Google-Extended is geen crawler, schrijft Google zelf, maar een controletoken. Google haalt je pagina's op met zijn gewone crawlers; met Google-Extended in robots.txt bepaal je of die inhoud gebruikt mag worden voor de training van Gemini-modellen en voor grounding in de Gemini-apps. Op Google Zoeken heeft het geen invloed, ook niet als rankingsignaal. AI Overviews en AI Mode horen bij Zoeken: die regel je met Googlebot, en met nosnippet of noindex.

Mogen is één ding, kunnen lezen een tweede. In de meting van Vercel en MERJ, op het netwerk van Vercel en nextjs.org en gepubliceerd in december 2024, voerde geen van de crawlers van OpenAI (OAI-SearchBot, ChatGPT-User en GPTBot), Anthropic (ClaudeBot) en Perplexity (PerplexityBot) JavaScript uit. Gemini gebruikt de infrastructuur van Googlebot en rendert wel. De bedrijven zelf zeggen er in hun documentatie niets over. Staat je tekst pas na het laden van scripts op de pagina, dan zien die crawlers een lege pagina.

Ook een firewall of CDN kan crawlers tegenhouden, los van robots.txt. Google noemt het voor zijn AI-functies met zoveel woorden: het crawlen moet toegestaan zijn in robots.txt en door je CDN of hosting. Perplexity legt in zijn documentatie uit hoe je zijn crawlers in een firewall toelaat.

Ons eigen robots.txt

aidigitals.nl/robots.txt
User-Agent: *Allow: /User-Agent: GPTBotAllow: /User-Agent: OAI-SearchBotAllow: /User-Agent: ChatGPT-UserAllow: /User-Agent: ClaudeBotAllow: /User-Agent: Claude-SearchBotAllow: /User-Agent: Claude-UserAllow: /User-Agent: PerplexityBotAllow: /User-Agent: Perplexity-UserAllow: /User-Agent: Google-ExtendedAllow: /User-Agent: Applebot-ExtendedAllow: /User-Agent: BingbotAllow: /User-Agent: CCBotAllow: /Sitemap: https://aidigitals.nl/sitemap.xml
Zo staat het op onze eigen site. De algemene regel laat alles toe; de AI-crawlers staan er ook bij naam in, zodat die keuze blijft staan als iemand later de algemene regel aanpast. Applebot-Extended, Bingbot en CCBot laten we ook toe; die bespreken we hier niet.

Een llms.txt-bestand of speciale schema markup hoort niet in dit rijtje: Google schrijft dat je geen nieuwe machineleesbare bestanden, AI-tekstbestanden of speciale structured data nodig hebt om in AI Overviews te staan. De vraag werkt llms.txt beantwoorden we apart, met het bewijs. Of de crawlers er bij jouw site echt in mogen, zie je met de AI-crawlercheck.

Tellen laadsnelheid, mobiel en HTTPS mee?

Ja, als deel van wat Google pagina-ervaring noemt: goede Core Web Vitals, een veilige HTTPS-verbinding en inhoud die goed werkt op mobiel. Ze bepalen niet of een pagina in de index komt, wel mee hoe hij rankt. Bij mobiel gaat het verder: Google gebruikt de mobiele versie van je site, opgehaald met de smartphone-crawler, om te indexeren en te ranken.

  • Goede Core Web Vitals. Laden, reageren en verspringen, gemeten bij echte bezoekers. Wat de grenzen zijn en hoe je ze haalt, staat in Core Web Vitals.
  • Een veilige verbinding. Heeft een pagina een http- en een https-adres, dan indexeert Google bij voorkeur de https-versie. Het HTTPS-rapport in Search Console laat zien welke URL's nog via http gaan.
  • Dezelfde inhoud op mobiel. Dezelfde tekst en dezelfde koppen als op desktop. Laad hoofdinhoud niet pas na een tik of veeg: die laadt Google niet.
  • Geen advertenties of pop-ups die de hoofdinhoud in de weg zitten, en hoofdinhoud die je makkelijk onderscheidt van de rest van de pagina.

Google zegt er zelf bij dat je niet op één of twee van deze punten moet sturen, maar op de ervaring als geheel. Goede scores garanderen ook geen toppositie: de meest relevante pagina kan winnen met een mindere ervaring. Zie ze daarom als laag 2 uit de tekening hierboven, niet als laag 1.

Hoe controleer je je technische SEO zelf?

Met gratis tools, in de volgorde van de wandeling: eerst robots.txt en je sitemap, dan je statuscodes, dan of de tekst in de HTML staat, en als laatste noindex, canonical en HTTPS. Google Search Console doet het meeste: de URL-inspectie laat per pagina zien wat Google ophaalde, welke status hij kreeg en welke canonieke URL hij koos.

Checklist

Technische SEO: 16 punten

In de volgorde waarin een crawler je site afloopt. Elk punt check je met een gratis tool.

  1. ToegangPoort 1: robots.txt

    • Zo check je het: Open jouwdomein.nl/robots.txt in je browser. In Search Console zie je in het robots.txt-rapport of Google het bestand kon ophalen.

      Goed als: Geen Disallow op pagina's of mappen die je in Google wilt, en het bestand is op te halen.

    • Zo check je het: Zoek in hetzelfde bestand op OAI-SearchBot, Claude-SearchBot, PerplexityBot en Googlebot, en kijk naar de regel onder User-agent: *.

      Goed als: Geen Disallow: / voor die namen, ook niet via de algemene regel.

      Meer hierover: AI-crawlercheck

    • Zo check je het: Zoek in het toegangslogboek van je hosting op de naam van de crawler, of vraag je hostingpartij of er een botblokkade aanstaat.

      Goed als: Verzoeken van Googlebot en de AI-crawlers krijgen status 200, niet 403.

  2. VindenPoort 2: Sitemap en links

    • Zo check je het: Open jouwdomein.nl/sitemap.xml en dien hem in bij Search Console, onder Sitemaps.

      Goed als: Het rapport meldt dat de sitemap is gelezen, en er staan alleen URL's in die je in Google wilt.

    • Zo check je het: Bekijk de paginabron (Ctrl+U, op een Mac Cmd+Option+U) en zoek op <a href.

      Goed als: Menu en links zijn <a href>-elementen in de HTML, geen knoppen die alleen met JavaScript werken.

  3. OphalenPoort 3: Ophalen

    • Zo check je het: Plak de URL in de URL-inspectie van Search Console, of kijk in Chrome DevTools, tabblad Network.

      Goed als: Status 200 voor elke pagina die je in Google wilt.

    • Zo check je het: Open in Search Console het rapport Pagina-indexering en kijk naar de redenen waarom pagina's niet geïndexeerd zijn.

      Goed als: Geen belangrijke pagina's onder 404, serverfout (5xx) of soft 404.

    • Zo check je het: Open de oude URL met Chrome DevTools open, tabblad Network, en kijk naar de eerste regel.

      Goed als: Status 301 of 308, een permanente omleiding naar de nieuwe pagina.

  4. LezenPoort 4: Renderen

    • Zo check je het: Bekijk de paginabron en zoek een zin uit je tekst. In de URL-inspectie zie je onder Gecrawlde pagina bekijken de HTML die Google kreeg.

      Goed als: De zin staat in de bron zelf, niet pas na het laden van scripts.

    • Zo check je het: Zet Chrome DevTools in apparaatweergave en vergelijk tekst, koppen en links met de desktopversie.

      Goed als: Dezelfde tekst en dezelfde koppen; niets wat alleen na een tik laadt.

  5. OpnemenPoort 5: Opnemen

    • Zo check je het: Zoek in de paginabron op noindex, en kijk in DevTools bij Headers of er een X-Robots-Tag meekomt. De URL-inspectie meldt het ook.

      Goed als: Geen noindex, behalve op pagina's die je bewust buiten Google houdt.

    • Zo check je het: De URL-inspectie toont de canonieke URL die jij opgaf en die Google koos.

      Goed als: Die twee zijn gelijk, en de pagina verwijst naar zichzelf met rel="canonical".

    • Zo check je het: Kijk naar het slotje in de adresbalk, en naar het HTTPS-rapport in Search Console.

      Goed als: Geen HTTP-URL's in het rapport; http:// stuurt permanent door naar https://.

    • Zo check je het: Zoek in de paginabron op nosnippet en max-snippet.

      Goed als: Niet aanwezig, of alleen op tekst die je bewust afschermt.

  6. Na de poortenGeen poort, wel een voorsprong

    • Zo check je het: Test de pagina in PageSpeed Insights en lees het bovenste blok, met de cijfers van echte bezoekers.

      Goed als: LCP, INP en CLS alle drie goed op mobiel.

      Meer hierover: Core Web Vitals

    • Zo check je het: Test de pagina in de Rich Results Test van Google.

      Goed als: Geen fouten, en elke waarde in de code staat ook op de pagina.

      Meer hierover: schema markup

De regels op deze checklist komen uit Google Search Central en Search Console Help, en uit de documentatie van OpenAI, Anthropic en Perplexity, gelezen op 29 september 2026. De checklist staat op https://aidigitals.nl/blog/technische-seo.
“Kijk na elke livegang eerst naar drie dingen: staat er nog een noindex van de testomgeving, laat robots.txt de crawlers toe, en staat de tekst in de paginabron. Dat kost vijf minuten, en elk van de drie kan een hele site onzichtbaar maken.”
Jaap Meijer, oprichter van AI Digitals

Loop de lijst opnieuw na bij elke grote wijziging: een nieuwe plugin, een nieuw thema of een verhuizing naar een ander domein kan een poort weer dichtzetten. Heeft je site honderden pagina's, of staan er in het rapport Pagina-indexering meer uitgesloten pagina's dan je kunt verklaren, dan is een SEO-audit sneller dan zelf zoeken. Wil je het niet zelf bijhouden, dan hoort het bij SEO uitbesteden.

Veelgestelde vragen

Wat is de beste gratis tool voor technische SEO?

Google Search Console. Het is gratis en van Google zelf, en het laat zien wat Google van je site vond: welke pagina's geïndexeerd zijn en waarom andere niet, of je sitemap is gelezen en of robots.txt op te halen was. De URL-inspectie toont per pagina de status, de canonieke URL en de HTML die Google kreeg. Voor snelheid gebruik je PageSpeed Insights, voor structured data de Rich Results Test.

Hoe los je 'geblokkeerd door robots.txt' op?

Zoek in je robots.txt de Disallow-regel die de pagina afsluit en haal hem weg of maak hem smaller. Kijk ook naar de groep onder User-agent: *, want die geldt voor elke crawler zonder eigen groep. Google bewaart robots.txt meestal tot 24 uur; in het robots.txt-rapport van Search Console vraag je in een noodgeval een nieuwe crawl aan. Wil je de pagina juist uit Google, gebruik dan noindex.

Heb je een XML-sitemap nodig?

Meestal wel: volgens Google heeft een site er in de meeste gevallen baat bij. Google noemt drie gevallen waarin je er een nodig kunt hebben: een grote site, een nieuwe site met weinig links van buiten, en een site met veel video, afbeeldingen of nieuws. Een kleine site van ongeveer 500 pagina's of minder die intern goed gelinkt is, kan zonder. Een sitemap garandeert niet dat alles gecrawld wordt.

Hoe lang duurt het voordat een wijziging in robots.txt werkt?

Bij Google meestal binnen een dag: Google bewaart robots.txt in de regel tot 24 uur, en langer als het nieuwe bestand niet op te halen is. OpenAI zegt dat het voor de zoekresultaten van ChatGPT ongeveer 24 uur duurt voordat zijn systemen een wijziging verwerken. Anthropic en Perplexity noemen in hun documentatie geen termijn.

Moet je je zorgen maken over crawlbudget?

Voor de meeste bedrijfssites niet. Google schreef zijn gids over crawlbudget voor sites met meer dan 1 miljoen pagina's die wekelijks veranderen, of meer dan 10.000 pagina's die dagelijks veranderen. Worden je nieuwe pagina's op de dag van publicatie gecrawld, dan hoef je er niets mee. Een actuele sitemap en af en toe het rapport Pagina-indexering zijn dan genoeg.

Bronnen

24 onderzoeken en publicaties waar de cijfers op deze pagina vandaan komen
  1. Google Search technical requirements: de drie minimumeisen · Google Search Central, bijgewerkt 18 december 2025, gelezen op 29 september 2026
  2. How Google Search works: crawlen, indexeren, tonen · Google Search Central, bijgewerkt 18 december 2025, gelezen op 29 september 2026
  3. Introduction to robots.txt · Google Search Central, bijgewerkt 10 december 2025, gelezen op 29 september 2026
  4. How Google interprets the robots.txt specification (cache, serverfouten, groepen) · Google Search Central, bijgewerkt 31 augustus 2026, gelezen op 29 september 2026
  5. What is a sitemap: wanneer je er een nodig hebt · Google Search Central, bijgewerkt 10 december 2025, gelezen op 29 september 2026
  6. Block Search indexing with noindex · Google Search Central, bijgewerkt 10 december 2025, gelezen op 29 september 2026
  7. How to specify a canonical URL with rel="canonical" and other methods · Google Search Central, bijgewerkt 10 juli 2026, gelezen op 29 september 2026
  8. Redirects and Google Search · Google Search Central, bijgewerkt 14 april 2026, gelezen op 29 september 2026
  9. How HTTP status codes affect Google's crawlers · Google Search Central, bijgewerkt 4 februari 2026, gelezen op 29 september 2026
  10. Understand JavaScript SEO basics: crawlen, renderen, indexeren · Google Search Central, bijgewerkt 4 maart 2026, gelezen op 29 september 2026
  11. Mobile site and mobile-first indexing best practices · Google Search Central, bijgewerkt 10 december 2025, gelezen op 29 september 2026
  12. Understanding page experience in Google Search results · Google Search Central, bijgewerkt 22 september 2026, gelezen op 29 september 2026
  13. AI features and your website · Google Search Central, bijgewerkt 10 december 2025, gelezen op 29 september 2026
  14. Google's common crawlers: Googlebot en Google-Extended · Google Search Central, bijgewerkt 14 juli 2026, gelezen op 29 september 2026
  15. Optimize your crawl budget · Google Search Central, bijgewerkt 22 juli 2026, gelezen op 29 september 2026
  16. robots.txt report · Search Console Help, gelezen op 29 september 2026
  17. Sitemaps report · Search Console Help, gelezen op 29 september 2026
  18. URL Inspection tool · Search Console Help, gelezen op 29 september 2026
  19. Page indexing report · Search Console Help, gelezen op 29 september 2026
  20. HTTPS report · Search Console Help, gelezen op 29 september 2026
  21. Overview of OpenAI crawlers: GPTBot, OAI-SearchBot, ChatGPT-User · OpenAI, gelezen op 29 september 2026
  22. Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic, Claude Help Center, bijgewerkt 7 april 2026, gelezen op 29 september 2026
  23. Perplexity crawlers: PerplexityBot en Perplexity-User · Perplexity, bijgewerkt 29 januari 2026, gelezen op 29 september 2026
  24. The rise of the AI crawler · Vercel en MERJ, 17 december 2024Meting op het netwerk van Vercel en op nextjs.org, met twee vacaturesites als controle: welke AI-crawlers JavaScript uitvoeren.

Weten bij welke poort jouw site hapert?

De gratis websitecheck leest je homepage zoals een crawler dat doet: robots.txt, sitemap, statuscode, de tekst in de HTML, noindex en canonical, en of de AI-crawlers erin mogen. Je krijgt per vak een rapportcijfer en de drie punten om mee te beginnen.