HTTP / Web Bevraagt een externe dienst

robots.txt-viewer

Toon en analyseer het robots.txt-bestand van een site: User-agent-richtlijnen, Allow/Disallow, sitemaps en crawlcontroles.

Hoe werkt het

Het bestand robots.txt, in de root geplaatst, geeft indexeringsrobots de verkenningregels: verboden paden (Disallow), toegestane (Allow) en de locatie van de sitemap.

Het is een conventie, geen toegangscontrole: een kwaadwillige robot kan het negeren. Om een sectie daadwerkelijk te beschermen, gebruikt u authenticatie en servercontroles.

Voorbeelden

Standaardsite

Richtlijnen en sitemap van Google.

urlhttps://www.google.com
Dit voorbeeld laden

Veelgestelde vragen

Waar plaatst u robots.txt?

In de root van het domein: https://example.com/robots.txt (één bestand per domein).

Kunt u een specifieke pagina blokkeren?

Ja met Disallow, maar een geblokkeerde pagina kan geïndexeerd blijven als externe links ernaar verwijzen: gebruik noindex om een pagina uit de index te verwijderen.