O que o robots.txt controla?
O arquivo reúne regras para crawlers que respeitam esse protocolo. Um grupo identifica o robô por User-agent e lista caminhos permitidos ou bloqueados.
Ele não substitui autenticação e não é uma garantia de exclusão do índice. Antes de bloquear uma área, entenda quais páginas e recursos precisam continuar acessíveis.
Como usar o gerador de robots.txt
- Escolha um modelo ou selecione regras personalizadas.
- Defina o User-agent e informe caminhos começando por /.
- Inclua a URL do sitemap, se ele estiver disponível.
- Revise o texto e baixe o arquivo. Bloqueio total exige confirmação explícita.
Exemplos de regras básicas
Site sem restrições
A ausência de bloqueios permite o rastreamento para esse grupo.
User-agent: *
Disallow:
Sitemap: https://exemplo.com.br/sitemap.xmlUma área específica
Bloqueie apenas o caminho que realmente precisa dessa regra.
User-agent: *
Disallow: /temporario/
Allow: /temporario/publico/Tutorial: publique com uma revisão de caminhos
Leia o arquivo atual
Antes de substituir qualquer configuração, abra o robots.txt existente e salve uma cópia. Identifique regras de plugins, plataformas e integrações.
Confirme o escopo
Para o site principal, o arquivo precisa estar acessível na raiz do host, como https://exemplo.com.br/robots.txt. Um arquivo em uma subpasta não controla a raiz.
Teste o arquivo publicado
Acesse a URL diretamente e confira se ela retorna texto, não uma página HTML. Revise especialmente Disallow: / e recursos necessários para renderizar páginas.
Erros comuns e como evitar
- Usar robots.txt para esconder senhas ou documentos privados.
- Bloquear / por engano em um site público.
- Aplicar o modelo WordPress de raiz a uma instalação em subdiretório sem adaptar os caminhos.
- Usar noindex ou crawl-delay esperando que o Google interprete essas diretivas nesse arquivo.
Perguntas frequentes
A ferramenta publica o arquivo?
Não. Ela gera texto para revisão e download. A publicação é feita na hospedagem ou na configuração apropriada.
O modelo WordPress serve para qualquer instalação?
Ele usa /wp-admin/ e /wp-admin/admin-ajax.php. Se o WordPress estiver em uma subpasta, adapte os caminhos.
Bloquear rastreamento remove a URL da busca?
Não necessariamente. Rastreamento e indexação não são a mesma coisa.
Posso desfazer as regras?
Sim. Guarde o arquivo anterior e restaure pela mesma forma de publicação usada no site.