Hoe AI-crawlers uw website lezen — en wat u eraan doet

Diaz Z. Maulidah

Redactionele verantwoordelijkheid · geschreven door de JustMarket Engine

Kort antwoord: AI-crawlers lezen uw website niet zoals een bezoeker dat doet. ChatGPT, Perplexity en de AI-antwoorden van Google sturen elk hun eigen bots, en die halen in de regel alleen de ruwe HTML op zonder de JavaScript uit te voeren. Wat pas verschijnt nadat scripts geladen zijn, bestaat voor hen niet. De belangrijkste ingrepen zijn dus technisch: zet uw kernteksten in de eerste HTML-respons en sluit de juiste bots niet per ongeluk buiten.

Er wordt veel geschreven over "vindbaar zijn in ChatGPT", en bijna altijd gaat dat over de tekst: schrijf antwoordgericht, zet uw expertise in de verf. Dat klopt, maar het slaat een stap over. Voordat een AI-model iets over uw zaak kán zeggen, moet een programma uw pagina eerst opgehaald en gelezen hebben — en dat programma is veel beperkter dan de browser waarin u uw eigen site bekijkt.

Deze gids gaat over die eerste stap: welke bots er aankloppen, wat ze te zien krijgen, waar het misloopt bij kmo-sites en hoe u het vandaag zelf controleert. Het is de saaiste helft van AI-zichtbaarheid, en meestal de helft die de doorslag geeft.

Welke bots kloppen er eigenlijk aan uw deur?

"De AI" is geen bezoeker. Het zijn losse programma's van verschillende bedrijven, elk met een eigen naam, een eigen doel en een eigen schakelaar. Dat onderscheid is geen technisch detail: wie de verkeerde bot buitensluit, verdwijnt uit de antwoorden zonder het te merken.

De namen in die tabel zijn de tokens die u in uw robots.txt gebruikt. OpenAI en Perplexity documenteren ze allebei op hun eigen ontwikkelaarspagina's, en die documentatie verandert: OpenAI herzag de beschrijving van zijn bots in de loop van 2025 en 2026. Controleer dus één keer per jaar of de tokens nog kloppen.

Robots.txt is een verkeersbord, geen slot

Uw robots.txt staat op uwdomein.be/robots.txt en vertelt bots welke paden ze mogen bezoeken. De grote aanbieders houden zich eraan voor hun indexerende bots. Maar het bestand blokkeert niets technisch: het is een instructie die nageleefd wordt, geen deur die op slot gaat.

Belangrijk nuanceverschil: bots die een pagina ophalen omdat een méns er in een gesprek om vroeg, gedragen zich niet als crawlers. OpenAI beschrijft ChatGPT-User uitdrukkelijk als een ophaalactie die door een gebruiker gestart wordt en niet als het automatisch doorzoeken van het web. Wie ervan uitgaat dat één regel in robots.txt alle AI-toegang afsluit, heeft dus een onvolledig beeld.

Wat een AI-crawler wél ziet — en wat niet

Hier zit de grootste kloof tussen wat u ziet en wat de machine ziet. Uw browser haalt een HTML-document op, voert JavaScript uit, praat met API's en bouwt zo de pagina op die u kent. De meeste AI-crawlers doen alleen dat eerste stuk: ophalen en lezen wat er staat. Punt.

Technische analyses van AI-crawlerverkeer komen in 2026 tot hetzelfde besluit: de grote AI-crawlers voeren geen JavaScript uit. Googlebot is de uitzondering — die rendert wél, al gebeurt dat in een tweede fase. Dat kan veranderen zonder aankondiging, maar zolang het niet verandert, is "de bot ziet alleen de eerste HTML" het veilige uitgangspunt. Voor een kmo-site met een moderne front-end betekent dat concreet:

• Staat uw dienstenoverzicht in een component die pas na het laden wordt opgehaald, dan is uw pagina voor een AI-crawler zo goed als leeg.
• Zitten uw prijzen in een interactieve rekenmodule, dan bestaan die prijzen niet in de tekst die geciteerd kan worden.
• Laadt u klantbeoordelingen via een widget van een externe partij, dan tellen ze niet mee als inhoud van uw pagina.

De test duurt dertig seconden: open uw pagina en vraag de brontekst op (Ctrl+U of Cmd+Option+U). Wat u daar niet letterlijk als tekst terugvindt, ziet een AI-crawler ook niet. Zoekt u tevergeefs naar uw eigen bedrijfsnaam, dienst of stad, dan is dat uw eerste werkpunt — belangrijker dan welke schrijftechniek ook.

De blokkeerval die kmo's onzichtbaar maakt in ChatGPT

De vervelendste fout die we tegenkomen is goedbedoeld. Een zaakvoerder leest dat AI-bedrijven websites gebruiken om modellen te trainen, wil dat niet, en zet een blokkade in robots.txt — vaak tegen alles wat naar OpenAI ruikt, dus ook tegen OAI-SearchBot.

Het gevolg: uw teksten worden niet meer opgehaald voor training, maar ChatGPT kan ook niet meer naar u verwijzen wanneer iemand vraagt naar een dakwerker in Gent of een boekhouder in Hasselt. U sluit de deur voor de klant om de deur voor de trainingsdata te sluiten. Dat is een verdedigbare keuze — maar dan wel bewust, niet per ongeluk.

Twee andere blokkades die zelden opgemerkt worden:

1. De firewall of botbescherming van uw hosting. Veel platformen weren onbekende bots automatisch. Uw site is dan bereikbaar voor bezoekers en Googlebot, maar niet voor de rest. Dat staat los van robots.txt en ziet u alleen in het beheerpaneel van uw host of CDN.
2. Een cookiemuur die eerst geladen moet worden. Wat een bot dan krijgt, is de tussenpagina — niet uw inhoud.

Vraag de SEO-audit van €450 aan — elke bevinding met bewijs en een geprioriteerd herstelplan, binnen vijf werkdagen; start u daarna een plan, dan wordt dat bedrag volledig verrekend met uw eerste drie maanden.

De tien-minutentest: wat ziet een AI-crawler op uw site?

Geen betalende tools nodig. Werk deze vijf stappen af en u weet meer dan de meeste offertes u vertellen.

1. Bekijk uw ruwe HTML. Open uw belangrijkste pagina en vraag de brontekst op. Zoek (Ctrl+F) naar uw bedrijfsnaam, uw belangrijkste dienst, uw stad en uw telefoonnummer. Vindt u ze niet als gewone tekst, dan is dat probleem één.
2. Lees uw robots.txt. Ga naar uwdomein.be/robots.txt. Staan er regels voor GPTBot, OAI-SearchBot of PerplexityBot? Weet u waarom ze er staan? Is het antwoord nee, dan zijn ze waarschijnlijk meegeleverd door een plug-in of een vorige bouwer.
3. Controleer uw serverlogboek. In het logboek van uw hosting ziet u welke bots langskwamen en welke statuscode ze kregen. Een reeks 403- of 429-antwoorden voor AI-bots betekent dat uw beveiliging ze weert.
4. Open het generatieve AI-rapport in Search Console. Google kondigde op 3 juni 2026 aparte rapporten aan voor Zoeken en Discover die tonen hoe vaak uw pagina's in AI Overviews en AI Mode verschijnen. Ze worden gefaseerd uitgerold, dus mogelijk ziet u ze nog niet.
5. Stel de vraag zelf. Vraag in ChatGPT en Perplexity naar uw dienst in uw stad, zoals een klant het zou vragen. Noteer welke bedrijven vermeld worden en welke bronnen aangehaald zijn. Dat is geen meting maar één momentopname — ze toont wel welk soort pagina's aangehaald wordt.

Wat u niet hoeft te doen — en wat wel

Rond AI-zoeken is een hele markt aan technische rituelen ontstaan. Google is daar in zijn eigen optimalisatiegids voor generatieve AI-functies opvallend duidelijk over: u hebt geen llms.txt-bestand nodig, geen opgeknipte inhoud, geen AI-specifieke herschrijving en geen speciale opmaak. Google Zoeken gebruikt die bestanden niet.

De praktische conclusie: het werk dat AI-zichtbaarheid oplevert, is hetzelfde werk dat gewone vindbaarheid oplevert. Een site die volledig als HTML geserveerd wordt, die de vraag in de eerste alinea beantwoordt en overal dezelfde naam, hetzelfde adres en hetzelfde telefoonnummer toont, is leesbaar voor Googlebot én voor OAI-SearchBot. Minder spannend dan een nieuwe discipline met een eigen afkorting, maar wel waar.

Over die inhoudelijke kant gaat de kmo-gids over gevonden worden in AI-zoekmachines; deze gids gaat over de leiding waarlangs die inhoud binnenkomt.

Meten zonder uzelf voor de gek te houden

AI-zichtbaarheid meten is in 2026 nog altijd onvolmaakt. Het generatieve AI-rapport dat Google in juni 2026 aankondigde, toont vertoningen, pagina's, landen, apparaten en de evolutie in de tijd. Kliks, doorklikratio's en de zoekopdrachten zelf toont het niet apart. U ziet dus dát u verschijnt, niet wat het opbrengt.

Voor ChatGPT en Perplexity bestaat er geen equivalent van Search Console. Wat u wel kunt volgen, is verwijzend verkeer: bezoekers die vanuit een AI-hulpmiddel op uw site landen, herkent u aan de verwijzende bron in uw statistiekenpakket. Bij een kmo gaat het om kleine aantallen, maar vaak van hoge kwaliteit — die bezoeker kreeg al een antwoord en komt nu de leverancier controleren.

Wees wantrouwig tegenover elk rapport dat u een "AI-zichtbaarheidsscore" voorschotelt zonder zijn methode te tonen. Niemand buiten OpenAI of Google heeft toegang tot die systemen.

Wat er in de praktijk misgaat

Vijf patronen die we telkens opnieuw zien bij Vlaamse kmo-sites:

• De site is gebouwd als applicatie in plaats van als document. Mooi, snel in gebruik, maar de inhoud komt pas na het laden binnen. Voor een AI-crawler is er dan niets.
• De belangrijkste informatie staat in een pdf of een afbeelding. Prijslijsten, menukaarten en tarieven als scan. Onleesbaar voor elke bot.
• Elke pagina heeft dezelfde tekst met een andere stadsnaam. Systemen die op zoek zijn naar iets citeerbaars vinden daar niets dat de moeite is om aan te halen.
• De bedrijfsnaam wordt op vier plaatsen anders geschreven. Op de site, op het Google-bedrijfsprofiel, in de Kruispuntbank en op Facebook. Voor een mens hetzelfde bedrijf, voor een systeem vier zwakke signalen in plaats van één sterk signaal.
• De blokkade van jaren geleden staat er nog. Een Disallow uit een testfase, meeverhuisd naar de definitieve site en nooit meer bekeken.

Geen van die vijf lost u op met betere teksten: het zijn ingrepen in de bouw van de site. Controleer daarom eerst de techniek en sleutel pas daarna aan de inhoud. Hoe die basis samenhangt met uw lokale vindbaarheid, leest u in de gids over hoger in Google Maps komen.