Technische SEO-checklist voor Google en AI-crawlers

Een technische SEO-checklist helpt je controleren of zoekmachines en AI-systemen je website kunnen ophalen, lezen en indexeren. Hieronder staat per onderdeel wat je controleert en wanneer het goed is. Het laatste onderdeel gaat over toegang voor de crawlers van AI-systemen zoals ChatGPT en Claude.

Deze checklist gaat alleen over techniek, niet over teksten of backlinks. Wil je eerst het brede overzicht, lees dan website optimaliseren. De lijst is bedoeld voor wie zelf, of samen met een developer, de techniek wil nalopen.

Technische SEO-analyse: wat je nodig hebt

Voor een eerste technische SEO-analyse heb je vier gratis hulpmiddelen nodig.

• Google Search Console, voor indexering, sitemaps en de Core Web Vitals van echte bezoekers.
• De URL-inspectietool in Search Console, om een pagina te zien zoals Googlebot haar ziet.
• PageSpeed Insights, voor snelheid en verbeterpunten per pagina.
• Een crawler zoals Screaming Frog, die je site doorloopt zoals een zoekmachine dat doet.

Begin met het rapport Indexering van pagina's in Search Console. Het toont per reden welke pagina's niet in Google staan. Dat is je werklijst voor de rest van deze checklist.

Crawlen: robots.txt

Robots.txt vertelt crawlers welke adressen ze mogen bezoeken. Het bestand staat altijd in de hoofdmap van je domein, bijvoorbeeld jouwdomein.nl/robots.txt. Google benadrukt in de uitleg over robots.txt dat het geen middel is om pagina's uit Google te houden.

• Het bestand bestaat en geeft statuscode 200.
• Er staat geen Disallow-regel die de hele site blokkeert, een bekend restant van de ontwikkelfase.
• CSS, JavaScript en afbeeldingen die pagina's nodig hebben, zijn niet geblokkeerd.
• Beheerpagina's, interne zoekresultaten en eindeloze filtercombinaties zijn wel uitgesloten.
• Een Sitemap-regel verwijst naar je actuele XML-sitemap.

Indexeren: noindex, canonical en statuscodes

Wil je een pagina uit Google houden, gebruik dan noindex en geen blokkade in robots.txt. Een geblokkeerde pagina kan volgens Google toch in de resultaten verschijnen, alleen zonder beschrijving.

• Pagina's die moeten ranken, hebben geen noindex in de meta robots-tag of in de HTTP-header.
• Elke pagina heeft een canonical die naar zichzelf verwijst, of bij dubbele inhoud naar de voorkeursversie.
• Verwijderde pagina's geven een 404 of 410, en geen 200 met een foutmelding.
• Belangrijke pagina's zijn met een gewone link bereikbaar vanuit het menu of vanuit andere pagina's.
• Interne links verwijzen niet naar pagina's die een 404 geven.
• In de URL-inspectietool kiest Google dezelfde canonical als jij.
• Tekst die pas via JavaScript laadt, staat in de gerenderde HTML die de URL-inspectietool toont.
• Meertalige sites hebben kloppende hreflang-verwijzingen tussen de taalversies.

XML-sitemap

Een XML-sitemap is een lijst van de adressen die je in Google wilt zien. Google leest hem als hint, dus opname is niet gegarandeerd.

• De sitemap bevat alleen canonieke pagina's met statuscode 200 en zonder noindex.
• Elk adres is volledig, inclusief https en domeinnaam.
• Een bestand bevat volgens Google maximaal 50.000 URL's of 50 MB ongecomprimeerd; daarboven splits je de sitemap.
• De datum in lastmod klopt met de laatste inhoudelijke wijziging van de pagina.
• De sitemap is ingediend in Search Console en het rapport Sitemaps toont geen fouten.

Google negeert de velden priority en changefreq. Daar hoef je dus geen tijd in te steken.

Core Web Vitals en mobiel

Google indexeert voor de meeste sites vooral de mobiele versie. Controleer daarom alles op mobiel: snelheid, inhoud en navigatie. Voor de Core Web Vitals hanteert Google drie drempels.

• LCP binnen 2,5 seconden: de grootste afbeelding of tekst is snel zichtbaar.
• INP onder 200 milliseconden: de pagina reageert snel op een tik of klik.
• CLS onder 0,1: de opmaak verspringt nauwelijks tijdens het laden.
• De mobiele versie bevat dezelfde tekst, koppen en gestructureerde data als de desktopversie.
• Googlebot leest van een HTML-bestand alleen de eerste 2 MB, dus pagina's met veel ingesloten code verdienen een controle.

Kijk voor Core Web Vitals eerst naar het rapport in Search Console, want dat gebruikt gegevens van echte bezoekers. PageSpeed Insights helpt daarna om per pagina de oorzaak te vinden.

HTTPS, redirects en URL-structuur

Google adviseert een permanente redirect aan de serverkant als je een adres wijzigt. Een JavaScript-redirect is een laatste optie, omdat Google die mogelijk niet ziet.

• De site draait volledig op https, met een geldig certificaat dat automatisch verlengt.
• Alle varianten, met en zonder www en via http, sturen met één permanente redirect naar dezelfde versie.
• Er zijn geen redirectketens: een oud adres verwijst direct naar het eindadres.
• Interne links wijzen naar het eindadres en niet naar een adres dat doorstuurt.
• Er laden geen afbeeldingen of scripts via http op een https-pagina.
• URL's zijn leesbaar en beschrijvend, zonder lange reeksen willekeurige tekens.

Plan je een nieuwe website of een nieuw domein, dan is deze lijst niet genoeg. Volg dan de stappen voor een SEO-migratie.

Gestructureerde data

Gestructureerde data beschrijft in code wat er op de pagina staat, zoals je bedrijfsgegevens of producten. Google vraagt dat die gegevens overeenkomen met de zichtbare tekst.

• Organization of LocalBusiness met dezelfde naam, hetzelfde adres en hetzelfde telefoonnummer als op de pagina.
• BreadcrumbList op pagina's die in een mappenstructuur staan.
• Product met prijs en beschikbaarheid als je een webshop hebt.
• Geen markup voor inhoud die bezoekers niet te zien krijgen.
• Een controle in de Rich Results Test na elke wijziging aan je templates.

Verwacht van FAQ-schema geen extra zichtbaarheid. Google stopte op 7 mei 2026 met FAQ rich results. Ahrefs zag bij 1.885 pagina's met nieuwe gestructureerde data geen stijging in citaties, zo staat in vier GEO-adviezen die de data niet overleven.

AI-crawlers: toegang voor zoekbots en trainingsbots

AI-systemen halen pagina's op met eigen crawlers. De grote aanbieders maken onderscheid tussen bots voor zoeken en bots voor training. Dat onderscheid bepaalt wat je toestaat.

De tabel volgt de documentatie van OpenAI, Anthropic, Perplexity en Google. Daarnaast zijn er bots die alleen komen als een gebruiker live een vraag stelt, zoals ChatGPT-User en Perplexity-User. Volgens OpenAI en Perplexity gelden robots.txt-regels daar mogelijk niet.

• Je robots.txt blokkeert OAI-SearchBot, Claude-SearchBot en PerplexityBot niet, tenzij je daar bewust voor kiest.
• Je hebt voor elke trainingsbot een bewuste keuze gemaakt; die keuze staat los van zoeken.
• De firewall of botbeveiliging van je hosting laat de zoekbots door. Dat zie je niet in robots.txt, wel in je serverlogs.
• Belangrijke inhoud staat als tekst op de pagina en niet alleen in afbeeldingen.
• Na een wijziging in robots.txt houd je rekening met ongeveer 24 uur voordat de zoekfunctie van ChatGPT de nieuwe regels volgt.

Blokkades komen vaak voor. Op de pagina van de gratis AI-crawlcheck staat een meting van Writgo: 21,7% van de bereikbare Nederlandse topsites blokkeert minstens één AI-crawler volledig. Met dezelfde check zie je welke crawlers jouw site toelaat.

Een llms.txt-bestand staat niet op deze lijst. Het is een voorstel en geen standaard, en Google schrijft dat je voor zijn AI-functies geen aparte AI-bestanden nodig hebt. Volgens de Web Almanac 2025 had ongeveer 2% van de sites er een.

Toegang is de technische voorwaarde, geen garantie op een vermelding. Wat daarna telt voor gevonden worden in ChatGPT, zijn je inhoud en wat andere sites over je bedrijf schrijven.

Hoe vaak loop je deze checklist na?

Loop de volledige lijst na bij elke grote wijziging: een nieuw thema, een nieuwe plug-in of een andere hosting. Ook instellingen van een firewall kunnen ongemerkt veranderen. Doe daarnaast elke maand een korte controle van het rapport Indexering van pagina's.

Werk je met een bureau, vraag dan of deze controles in het maandelijkse SEO-rapport terugkomen. Zo zie je een nieuw probleem voordat het je posities kost.

Wanneer technische SEO uitbesteden?

Een groot deel van deze checklist kun je zelf afvinken. Uitbesteden ligt voor de hand als een oplossing aanpassingen aan server, templates of code vraagt. Hetzelfde geldt als Search Console fouten toont die je niet kunt verklaren, of als je site veel pagina's heeft.

21x controleert de techniek voor Google en voor de crawlers van AI-systemen, en zet de bevindingen op volgorde van wat ze opleveren. Het herstel voert 21x zelf uit of het wordt een concrete opdracht voor je webbouwer. Lees hoe technische SEO bij 21x verloopt.