Drie bestanden waarvan iedereen aanneemt dat ze er zijn
Controleer of jouw site deze drie adressen echt teruggeeft: /robots.txt, /sitemap.xml of /sitemap-index.xml, en /llms.txt. Ontbreken ze, dan merk je daar niets van behalve dat je minder wordt gevonden dan zou kunnen.
Fouten die zich niet melden
De meeste problemen op een site melden zich: een formulier dat niet verstuurt, een pagina die crasht, een beeld dat niet laadt. Deze drie doen dat niet. Er komt geen waarschuwing. De site oogt normaal. De gevolgen zie je pas maanden later terug, in cijfers die je toch al niet goed kon duiden.
Wat ze doen
Ze zijn geen van drieën ingewikkeld. Ze worden vergeten.
- robots.txt zegt welke delen niet gecrawld hoeven worden, en waar je sitemap staat
- de sitemap is de lijst met adressen die je wél wilt laten indexeren, met de laatste wijzigingsdatum
- llms.txt is de nieuwste van de drie en vertelt een AI-assistent in gewone taal wie je bent en welke pagina's ertoe doen
Drie van de drie, en niemand die het wist
Wij kwamen dit tegen bij een nulmeting, drie dagen voor een herbouw. Zeven pagina's, en geen van de drie bestanden aanwezig. Niemand die aan die site had gewerkt wist het. Er is ook geen manier waarop je het merkt. Daar zit het nut van een nulmeting. Hij vraagt niet wat je denkt dat er staat, hij kijkt.
- de sitemap komt nu uit de build, dus hij kan niet meer achterlopen
- robots.txt verwijst naar de sitemap-index in plaats van naar niets
- en dit staat op de opleverlijst, dus niemand hoeft het te onthouden
Twee minuten werk om te controleren. Open de drie adressen achter je eigen domein en kijk wat er terugkomt.