HTTP / Web Consulta um serviço remoto

Leitor de robots.txt

Mostre e analise o ficheiro robots.txt de um site: diretivas User-agent, Allow/Disallow, sitemaps e controlos de exploração.

Como funciona

O ficheiro robots.txt, colocado na raiz, fornece aos robôs de indexação as regras de rastreamento: caminhos proibidos (Disallow), permitidos (Allow) e localização do sitemap.

Trata-se de uma convenção, não de um controlo de acesso: um robô malicioso pode ignorá-la. Para proteger realmente uma secção, utilize autenticação e controlos do lado do servidor.

Exemplos

Site padrão

Diretivas e sitemap da Google.

urlhttps://www.google.com
Carregar este exemplo

Perguntas frequentes

Onde colocar o robots.txt?

Na raiz do domínio: https://example.com/robots.txt (um único ficheiro por domínio).

É possível bloquear uma página específica?

Sim, com Disallow, mas uma página bloqueada pode continuar indexada se houver ligações externas a apontar para ela: utilize noindex para retirar uma página do índice.