HTTP / Web Fragt einen entfernten Dienst ab

robots.txt-Viewer

Zeigen Sie die robots.txt einer Website an und analysieren Sie sie: User-agent-Richtlinien, Allow/Disallow, Sitemaps und Crawling-Kontrollen.

So funktioniert es

Die Datei robots.txt im Wurzelverzeichnis gibt Indexierungs-Robotern die Regeln für das Crawling: verbotene Pfade (Disallow), erlaubte Pfade (Allow) und den Speicherort der Sitemap.

Es handelt sich um eine Konvention, nicht um eine Zugriffskontrolle: Ein bösartiger Roboter kann sie ignorieren. Um einen Bereich wirklich zu schützen, verwenden Sie Authentifizierung und serverseitige Kontrollen.

Beispiele

Standard-Website

Google-Direktiven und Sitemap.

urlhttps://www.google.com
Dieses Beispiel laden

Häufige Fragen

Wo muss die robots.txt liegen?

Im Wurzelverzeichnis der Domain: https://example.com/robots.txt (nur eine Datei pro Domain).

Kann man eine bestimmte Seite blockieren?

Ja, mit Disallow, aber eine blockierte Seite kann indexiert bleiben, wenn externe Links darauf verweisen: Verwenden Sie noindex, um eine Seite aus dem Index zu entfernen.