AI Crawler Optimalisatie Tips
Generative AI-platforms zoals ChatGPT, Perplexity en Claude voeren tegenwoordig live websearches uit bij vrijwel elke prompt. Zichtbaarheid en vindbaarheid op deze platforms hangen daarom sterk af van de toegankelijkheid van een website voor AI-bots. Voor farmaceutische marketeers die inzetten op thought leadership en digitale zichtbaarheid is dit cruciaal: als AI je content niet kan crawlen, word je simpelweg niet genoemd of geciteerd.
Schakel JavaScript uit
Zorg dat je pagina’s leesbaar zijn zonder JavaScript.
In tegenstelling tot Google’s crawler zijn AI-bots nog relatief onvolwassen. Uit diverse praktijkcases blijkt dat AI-crawlers JavaScript vaak niet (volledig) kunnen renderen.
Veel organisaties besteden hier nauwelijks nog aandacht aan, omdat Google al jaren moeiteloos JavaScript-rijke pagina’s indexeert. Het gevolg: talloze websites die zwaar op JavaScript leunen — en daardoor slecht zichtbaar zijn voor AI-bots.
Je kunt dit eenvoudig zelf testen in Chrome:
-
Ga naar je site in Chrome.
-
Open Web Developer Tools via View > Developer > Developer Tools.
-
Klik op Settings (tandwiel rechtsboven).
-
Scroll naar beneden en vink Disable JavaScript aan onder Debugger.
Loop vervolgens door je site en check of:
-
Alle essentiële content zichtbaar blijft, ook achter tabs en dropdown-menu’s.
-
Navigatiemenu en links aanklikbaar zijn.
-
Video-embeds een klikoptie naar de originele video, een transcript of beide bieden.
Een hulpmiddel hierbij is Aiso, een AI-optimalisatieplatform. Via de gratis proefversie kun je enkele checks uitvoeren. Ga naar Website crawlability, voer je URL in en bekijk het rapport met verbetersuggesties. Het toont ook hoe pagina’s eruitzien met JavaScript uitgeschakeld.
Zorg voor AI-toegang
Controleer dat je site AI-bots toegang geeft. Sommige CMS’en of plugins blokkeren dit standaard, vaak zonder dat de eigenaar het doorheeft.
Check je robots.txt-bestand via [jouwsite.com]/robots.txt. AI-platforms kunnen dit bestand zelf interpreteren. Je kunt bijvoorbeeld je robots.txt-URL in ChatGPT plakken en om een analyse vragen.
Structured Data
Structured data-markup, zoals via Schema.org, verhoogt eveneens de zichtbaarheid.
Schema-markup helpt AI-bots essentiële informatie direct uit een pagina te halen, zonder de volledige site te hoeven crawlen.
Voorbeelden:
-
FAQPage Type: maakt vragen en antwoorden zichtbaar die anders verborgen blijven in inklapbare FAQ-secties.
-
Article Type: geeft AI-bots inzicht in de context en auteurschap van artikelen, cruciaal voor autoriteit en betrouwbaarheid.
