Crie e personalize seu arquivo robots.txt em segundos com nossa ferramenta profissional otimizada para SEO
Crie seu arquivo robots.txt em segundos com nossa interface intuitiva e configuração guiada.
Defina quais áreas do seu site devem ser indexadas e quais não para otimizar o SEO.
Acesse e use nossa ferramenta de qualquer dispositivo, a qualquer momento.
O arquivo robots.txt é um arquivo de texto que faz parte do protocolo de exclusão de robôs (REP) e é usado para indicar aos rastreadores dos motores de busca quais páginas ou arquivos podem ou não podem solicitar do seu site.
Um robots.txt bem configurado pode:
As diretivas mais comuns são:
User-agent: Especifica a qual robô as regras se aplicamDisallow: Indica quais rotas não devem ser rastreadasAllow: Indica quais rotas podem ser rastreadas (anula Disallow)Sitemap: Especifica a localização do sitemap XMLCrawl-delay: Define o atraso entre solicitações de rastreamentoHost: Indica o domínio preferido (diretiva não oficial)User-agent: * para aplicar regras a todos os robôsO arquivo robots.txt é um arquivo de texto localizado no diretório raiz de um site que instrui os rastreadores web (bots de motores de busca) quais partes do site podem e não podem acessar. É parte do Protocolo de Exclusão de Robôs (REP), um padrão usado por sites para se comunicar com rastreadores web automatizados. Embora não seja uma medida de segurança (rastreadores determinados podem ignorá-lo), é uma ferramenta essencial para SEO e gerenciamento de recursos do servidor. A ferramenta Gerador de robots.txt acima ajuda você a criar um arquivo robots.txt corretamente formatado para seu site.
O Protocolo de Exclusão de Robôs foi criado em 1994 por Martijn Koster e outros webmasters preocupados com o tráfego de rastreadores sobrecarregando seus servidores. A primeira especificação foi desenvolvida na lista de discussão www-talk. Desde então, tornou-se um padrão usado por todos os principais motores de busca, incluindo Google, Bing, Yahoo, Yandex e Baidu. O protocolo não é um padrão oficial, mas é amplamente adotado e respeitado.
| Diretiva | Descrição | Exemplo |
|---|---|---|
User-agent |
Especifica a qual robô as regras seguintes se aplicam | User-agent: * (todos os bots) |
Disallow |
Rotas que NÃO devem ser rastreadas | Disallow: /admin/ |
Allow |
Rotas que PODEM ser rastreadas (sobrescreve Disallow) | Allow: /public/ |
Sitemap |
Localização do(s) sitemap(s) XML | Sitemap: https://site.com/sitemap.xml |
Crawl-delay |
Atraso entre solicitações (segundos) | Crawl-delay: 5 |
Host |
Domínio preferido (não oficial, usado pelo Yandex) | Host: www.exemplo.com |
User-agent: * para regras que se aplicam a todos os rastreadores. Para bots específicos como Googlebot, use User-agent: Googlebot. Regras de user-agent mais específicas substituem as gerais.User-agent: *
Allow: /
Permite que todos os rastreadores acessem todo o conteúdo. Este é o comportamento padrão mesmo sem um arquivo robots.txt.
User-agent: *
Disallow: /
Bloqueia que todos os rastreadores acessem qualquer parte do site. Use com cuidado: isso impedirá que os motores de busca indexem seu site completamente.
User-agent: *
Disallow: /admin/
Disallow: /privado/
Disallow: /tmp/
User-agent: BadBot
Disallow: /
User-agent: *
Allow: /
Bloqueia um bot específico enquanto permite os outros.
"Um arquivo robots.txt corretamente configurado diz aos motores de busca exatamente o que você quer que vejam e o que ignorar. Não se trata de esconder conteúdo, mas de guiar os rastreadores para o que mais importa."
— Melhores práticas de SEO
Um arquivo robots.txt bem configurado proporciona vários benefícios de SEO:
Disallow: / só é usado quando você realmente quer bloquear a indexação.Use user-agents específicos para aplicar regras a motores de busca individuais enquanto permite outros.
Use o testador de robots.txt do Google Search Console para verificar sua configuração antes da implementação.
Sempre adicione a diretiva Sitemap para ajudar os rastreadores a encontrar seu conteúdo eficientemente.
Crawl-delay pode limitar demais o rastreamento. Use-o apenas se seu servidor tiver dificuldades com o tráfego.
Certifique-se de que cada diretiva esteja em sua própria linha, sem espaços antes dos dois pontos.
O arquivo robots.txt deve ser colocado no diretório raiz do seu site. Por exemplo:
https://exemplo.com/robots.txthttps://www.exemplo.com/robots.txtO arquivo deve ser acessível via HTTP e deve ser um arquivo de texto plano. É sensível a maiúsculas e minúsculas: use minúsculas para nomes de arquivo.
Depois de criar seu arquivo robots.txt, teste-o usando:
Não. robots.txt impede o rastreamento, não a indexação. Se outras páginas linkarem para uma página não permitida, ela ainda pode ser indexada. Use a meta tag noindex ou o cabeçalho X-Robots-Tag para impedir a indexação.
Sim. Você pode especificar rotas para diretórios de imagens ou tipos de arquivo específicos para impedir que apareçam nos resultados de busca de imagens.
Disallow impede que rastreadores acessem uma página. noindex permite o rastreamento mas indica aos motores de busca que não incluam a página nos resultados de busca. Use noindex para páginas que você quer que sejam rastreadas mas não indexadas.
Os motores de busca geralmente buscam robots.txt novamente a cada poucos dias. Você pode acelerar o processo usando a função "Solicitar indexação" do Google Search Console.
Não é necessário, mas incluir uma diretiva sitemap pode ajudar os motores de busca a descobrir seu conteúdo. Um arquivo vazio está bem, mas não ter nenhum também é aceitável.
Um arquivo robots.txt bem configurado é uma parte essencial de qualquer estratégia de SEO. Ajuda os motores de busca a rastrear seu site eficientemente, evita o desperdício do orçamento de rastreamento e garante que seu conteúdo mais importante seja descoberto. Use o Gerador de robots.txt para criar seu arquivo, teste-o com as ferramentas do console de busca e monitore o desempenho de rastreamento do seu site ao longo do tempo.
Os cálculos e informações fornecidos por AlbertMaster são apenas para fins educativos e informativos. Embora nos esforcemos para obter a máxima precisão, não garantimos os resultados e não nos responsabilizamos por quaisquer decisões financeiras, de saúde ou legais tomadas com base nesta ferramenta. Consulte um consultor profissional ou especialista antes de tomar qualquer ação. Todo o processamento é feito localmente no seu dispositivo para garantir a sua privacidade.
Os resultados fornecidos pelas nossas ferramentas esotéricas, incluindo Tarot, Runas e Numerologia, são apenas para fins de entretenimento e autorreflexão. Estas leituras não predizem o futuro e não devem ser usadas como substituto de aconselhamento médico, legal ou financeiro profissional. AlbertMaster não se responsabiliza por quaisquer ações tomadas com base nas interpretações fornecidas por estas simulações digitais.
Manage your cookie preferences. You can enable or disable different types of cookies below.
These cookies are essential for the website to function and cannot be switched off.
These cookies allow the website to remember choices you make (like language or region) and provide enhanced features.
These cookies help us understand how visitors interact with our website by collecting anonymous information.
These cookies are used to track visitors across websites to display relevant advertisements.
Under the GDPR, you have the right to access, rectify, and erase your personal data. You can also object to processing and request data portability.