HTTP / Web Consulta un servicio remoto

Visor de robots.txt

Muestre y analice el archivo robots.txt de un sitio: directivas User-agent, Allow/Disallow, sitemaps y controles de rastreo.

Cómo funciona

El archivo robots.txt, situado en la raíz, da a los robots de indexación las reglas de rastreo: rutas prohibidas (Disallow), permitidas (Allow) y ubicación del sitemap.

Es una convención, no un control de acceso: un robot malicioso puede ignorarla. Para proteger realmente una sección, utilice autenticación y controles en el servidor.

Ejemplos

Sitio estándar

Directivas y sitemap de Google.

urlhttps://www.google.com
Cargar este ejemplo

Preguntas frecuentes

¿Dónde colocar el robots.txt?

En la raíz del dominio: https://example.com/robots.txt (un solo archivo por dominio).

¿Se puede bloquear una página concreta?

Sí, con Disallow, pero una página bloqueada puede seguir indexada si enlaces externos apuntan a ella: utilice noindex para retirar una página del índice.