HTTP / Web
Consulta um serviço remoto
Leitor de robots.txt
Mostre e analise o ficheiro robots.txt de um site: diretivas User-agent, Allow/Disallow, sitemaps e controlos de exploração.
Como funciona
O ficheiro robots.txt, colocado na raiz, fornece aos robôs de indexação as regras de rastreamento: caminhos proibidos (Disallow), permitidos (Allow) e localização do sitemap.
Trata-se de uma convenção, não de um controlo de acesso: um robô malicioso pode ignorá-la. Para proteger realmente uma secção, utilize autenticação e controlos do lado do servidor.
Exemplos
Perguntas frequentes
Onde colocar o robots.txt?
Na raiz do domínio: https://example.com/robots.txt (um único ficheiro por domínio).
É possível bloquear uma página específica?
Sim, com Disallow, mas uma página bloqueada pode continuar indexada se houver ligações externas a apontar para ela: utilize noindex para retirar uma página do índice.