robots.txt-Viewer
Zeigen Sie die robots.txt einer Website an und analysieren Sie sie: User-agent-Richtlinien, Allow/Disallow, Sitemaps und Crawling-Kontrollen.
So funktioniert es
Die Datei robots.txt im Wurzelverzeichnis gibt Indexierungs-Robotern die Regeln für das Crawling: verbotene Pfade (Disallow), erlaubte Pfade (Allow) und den Speicherort der Sitemap.
Es handelt sich um eine Konvention, nicht um eine Zugriffskontrolle: Ein bösartiger Roboter kann sie ignorieren. Um einen Bereich wirklich zu schützen, verwenden Sie Authentifizierung und serverseitige Kontrollen.
Beispiele
Häufige Fragen
Wo muss die robots.txt liegen?
Im Wurzelverzeichnis der Domain: https://example.com/robots.txt (nur eine Datei pro Domain).
Kann man eine bestimmte Seite blockieren?
Ja, mit Disallow, aber eine blockierte Seite kann indexiert bleiben, wenn externe Links darauf verweisen: Verwenden Sie noindex, um eine Seite aus dem Index zu entfernen.