Gerador Robots.txt – Criação e exemplo de modelos

Default policy

Sitemap URL

Disallow paths (one per line) robots.txt

Share X / Twitter Facebook LinkedIn WhatsApp

Como usar Gerador Robots.txt

Escolha a política padrão — “Permitir todos” para sites ativos, “Proibir todos” apenas para sites de teste/privados.
Liste os caminhos a serem bloqueados, um por linha: /admin/, /cart/, /search – cada um se torna uma regra de proibição.
Cole o URL do seu mapa do site (por exemplo, https://yoursite.com/sitemap.xml) para que os rastreadores encontrem todos página.
Copie o arquivo gerado e faça upload dele para a raiz do seu site como robots.txt, depois teste-o com o relatório robots.txt do Google Search Console.

O que é Gerador Robots.txt?

Um gerador robots.txt cria um pequeno arquivo de texto que informa aos rastreadores dos mecanismos de pesquisa quais partes do seu site eles podem visitar. O arquivo fica na raiz do seu domínio (example.com/robots.txt) e usa uma sintaxe de diretiva simples. O exemplo padrão que a maioria dos sites precisa:

User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml

Isso diz: todos os rastreadores (*) podem rastrear tudo, exceto /admin/, e aqui está o mapa do site. Porém, entenda a sintaxe um pouco errada - um Disallow: / perdido é o desastre clássico - e você pode desindexar um site inteiro. Gerar o arquivo é melhor do que digitá-lo manualmente.

Sobre o Gerador Robots.txt

Escolha sua política padrão (permitir todos ou proibir todos), liste todos os caminhos a serem bloqueados (um por linha, como /admin/ ou /cart/). Adicione o URL do mapa do site e o robots.txt correto aparecerá pronto para ser copiado.

Exemplos comuns de robots.txt que abrangem: o site padrão (permitir tudo, bloquear caminhos de administração e checkout, declarar o mapa do site); o site de teste (Disallow: / para manter as versões de teste fora do Google – lembre-se de removê-lo no lançamento); e configurações no estilo WordPress (bloquear /wp-admin/ enquanto deixa o conteúdo rastreável). Envie o resultado para a raiz do seu site como robots.txt — ele deve estar no nível superior, não em uma subpasta.

Um limite que vale a pena conhecer: o robots.txt controla o rastreamento, não a indexação — um URL bloqueado ainda pode aparecer nos resultados se outros sites tiverem links para ele. Para manter uma página totalmente fora do Google, use uma meta tag noindex em uma página rastreável. E o robots.txt é público (qualquer pessoa pode ler o seu), então nunca liste caminhos secretos nele.

Perguntas Frequentes

User-agent: * / Allow: // Disallow: /admin/ / Sitemap: https://example.com/sitemap.xml — permita tudo, bloqueie a área privada, declare o sitemap. A maioria dos sites não precisa de mais nada.

Na raiz do domínio: https://example.com/robots.txt. Os rastreadores apenas olham para lá – um robots.txt dentro de uma subpasta é ignorado. Na maioria dos hosts, isso significa a raiz pública da web (public_html ou pública).

Bloqueia o rastreamento de todo o site – todos os URLs. Correto para ambientes de teste, catastrófico em um site ativo: as classificações evaporam à medida que as páginas caem do índice. Verifique esta linha antes de fazer upload.

Não é confiável – ele interrompe o rastreamento, mas um URL bloqueado por robots.txt ainda pode ser indexado a partir de links externos (mostrados sem descrição). Para realmente excluir uma página, permita o rastreamento e adicione uma meta tag noindex.

Normalmente não — User-agent: * cobre todos os rastreadores bem comportados. Adicione grupos específicos apenas para regras diferentes por bot, por exemplo. bloquear GPTBot ou outros rastreadores de IA enquanto permite o Googlebot.

Learn more

Como escrever um arquivo robots.txt (com exemplos)

O robots.txt controla o que os mecanismos de pesquisa rastreiam. Se errar, você poderá ocultar todo o seu site. Veja como escrever um corretamente, com exemplos.

Read the guide