AI bots jouw website laten vinden: Wat is llms.txt?
Een voorgestelde standaard moet large language models (LLM’s) zoals ChatGPT, Gemini en Claude richting relevante webinhoud sturen, en zo online winkels zichtbaarder maken in AI-gestuurde zoekresultaten.
Het llms.txt-bestand is vergelijkbaar met zowel het bekende robots.txt-bestand als een XML-sitemap.
Zichtbaarheid in AI
Jeremy Howard, medeoprichter van Fast.ai en Answer.AI, stelde de llms.txt-standaard in september 2024 voor. Het doel: LLM’s helpen bij het verwerken en begrijpen van content van grote, complexe websites.
Als de standaard breed wordt overgenomen, zou dit een manier kunnen zijn voor websites – zoals e-commercebedrijven – om hun zichtbaarheid in AI-toepassingen te vergroten.
De llms.txt-voorstel krijgt inmiddels steun van onder andere Perplexity en Anthropic (Claude), en wint aan belangstelling binnen de webgemeenschap.
Wat is llms.txt?
Llms.txt is een machineleesbaar bestand voor AI-systemen. Het geeft aan welke content (i) beschikbaar is voor gebruik en (ii) eenvoudig samen te vatten of te citeren is.
Het lijkt qua functie op robots.txt of een sitemap, en kan AI-systemen aangeven welke onderdelen van een site wel of niet mogen worden gebruikt.
Bijvoorbeeld:
Hoewel LLM’s niet verplicht zijn deze instructies te volgen, zijn de ‘allow’ en ‘disallow’-regels een manier om de relevantie van content te signaleren.
Een webshop kan bijvoorbeeld het winkelmandje en de checkout uitsluiten:
En tegelijkertijd AI juist toegang geven tot nuttige content zoals verzendinformatie, blogartikelen en productbeschrijvingen:
Structuur van llms.txt
Veel voorbeelden volgen een vast patroon in Markdown-indeling:
Dit bestand vertelt de AI iets over de site en verwijst naar inhoud in Markdown-bestanden (.md), vergelijkbaar met hoe een XML-sitemap crawlers leidt naar contentpagina’s.
Versimpelde content
Een llms.txt-bestand kan vele links bevatten naar vereenvoudigde productpagina’s in Markdown, zonder overbodige navigatie of scripts. Bijvoorbeeld:
De structuur biedt:
-
Duidelijke titel
-
Korte samenvatting
-
Gestructureerde secties
-
Canonieke bronlink voor citatie
Tijdens de interface
Een cruciaal voordeel van llms.txt is ondersteuning op het moment dat een gebruiker een vraag stelt aan een AI-chatbot. De AI kan dan direct het relevante Markdown-bestand raadplegen en een accuraat antwoord geven.
Zie het als een soort “samenvatting” die speciaal voor de AI is geschreven.
AI-vindbaarheid
Llms.txt lijkt op de vroege SEO-strategieën van de zoekmachinewereld. Het kan gezien worden als een nieuwe vorm van optimalisatie: LLM SEO.
Of de standaard daadwerkelijk grootschalig wordt geadopteerd valt nog te bezien. Maar het laat wel zien dat zowel AI-ontwikkelaars als website-eigenaren zoeken naar manieren om AI te helpen bij indexering en bronvermelding.
Het zou zomaar de toekomst van AI-vindbaarheid kunnen vormen.
