HTTP / Web
Interroge un service distant
Lecteur de robots.txt
Affichez et analysez le fichier robots.txt d'un site : directives User-agent, Allow/Disallow, sitemaps et contrôles d'exploration.
Comment ça marche
Le fichier robots.txt, placé à la racine, donne aux robots d'indexation les règles d'exploration : chemins interdits (Disallow), autorisés (Allow) et localisation du sitemap.
Il s'agit d'une convention, pas d'un contrôle d'accès : un robot malveillant peut l'ignorer. Pour protéger réellement une section, utilisez l'authentification et les contrôles serveur.
Exemples
Questions fréquentes
Où placer le robots.txt ?
À la racine du domaine : https://example.com/robots.txt (un seul fichier par domaine).
Peut-on bloquer une page précise ?
Oui avec Disallow, mais une page bloquée peut rester indexée si des liens externes pointent vers elle : utilisez noindex pour retirer une page de l'index.