HTTP / Web
Consulta un servicio remoto
Visor de robots.txt
Muestre y analice el archivo robots.txt de un sitio: directivas User-agent, Allow/Disallow, sitemaps y controles de rastreo.
Cómo funciona
El archivo robots.txt, situado en la raíz, da a los robots de indexación las reglas de rastreo: rutas prohibidas (Disallow), permitidas (Allow) y ubicación del sitemap.
Es una convención, no un control de acceso: un robot malicioso puede ignorarla. Para proteger realmente una sección, utilice autenticación y controles en el servidor.
Ejemplos
Preguntas frecuentes
¿Dónde colocar el robots.txt?
En la raíz del dominio: https://example.com/robots.txt (un solo archivo por dominio).
¿Se puede bloquear una página concreta?
Sí, con Disallow, pero una página bloqueada puede seguir indexada si enlaces externos apuntan a ella: utilice noindex para retirar una página del índice.