HTTP / Web
Bevraagt een externe dienst
robots.txt-viewer
Toon en analyseer het robots.txt-bestand van een site: User-agent-richtlijnen, Allow/Disallow, sitemaps en crawlcontroles.
Hoe werkt het
Het bestand robots.txt, in de root geplaatst, geeft indexeringsrobots de verkenningregels: verboden paden (Disallow), toegestane (Allow) en de locatie van de sitemap.
Het is een conventie, geen toegangscontrole: een kwaadwillige robot kan het negeren. Om een sectie daadwerkelijk te beschermen, gebruikt u authenticatie en servercontroles.
Voorbeelden
Veelgestelde vragen
Waar plaatst u robots.txt?
In de root van het domein: https://example.com/robots.txt (één bestand per domein).
Kunt u een specifieke pagina blokkeren?
Ja met Disallow, maar een geblokkeerde pagina kan geïndexeerd blijven als externe links ernaar verwijzen: gebruik noindex om een pagina uit de index te verwijderen.