Robots.txt

Robots.txt é um ficheiro que se encontra na pasta de raiz de um sítio Web, ou raiz. Um robots.txt tem várias funções, por exemplo, indicar aos motores de busca que sítio ou página Web podem ou não pesquisar. Isto também é importante para obter uma posição mais elevada no Google.

O que é o robots.txt?

Um ficheiro robots.txt é um ficheiro de texto acessível ao público. Trata-se de um ficheiro muito importante, uma vez que indica ao motor de busca exatamente que parte de um sítio Web pode ou não ser indexada por um motor de busca. Isto pode afetar significativamente o desempenho do sítio Web.

Para a otimização dos motores de busca(uma campanha de SEO, por exemplo), é uma ferramenta muito poderosa e também técnica. Não existe um robots.txt colocado no servidor Web? Assim, um motor de busca pode pesquisar todo o sítio Web.

Exemplos de robots.txt

É muito importante notar que um robots.txt não elimina uma página que já esteja indexada. Apenas impedirá que uma página seja indexada pelos rastreadores dos motores de busca. Assim, se uma página estiver online há algum tempo antes de ser adicionado um ficheiro robots.txt, continuará armazenada na base de dados do motor de busca.

A importância do robots.txt

Quando um motor de busca visita um determinado sítio Web, verifica sempre primeiro o ficheiro robots.txt. Na verdade, o robots.txt faz parte do Protocolo de Exclusão de Robôs (REP). Este protocolo regula a forma como os robots são autorizados a indexar e rastrear a Web. Isto é útil se, por exemplo, quiser que um motor de busca não indexe páginas duplicadas.

O impacto do robots.txt

O ficheiro robots.txt existe desde 1994 e foi concebido pelo holandês Martijn Koster. O seu sítio Web foi posto em causa por um motor de busca. Por conseguinte, o objetivo do robots.txt é obter mais controlo sobre a sua classificação e SEO. É muito importante se quiser que o seu sítio web tenha uma boa classificação.

O meu conselho

Para quem trabalha com um consultor de SEO de um sítio Web, é útil saber exatamente o que significa robots.txt e para que serve. Se não tiver o ficheiro robots.txt colocado no seu sítio Web, os motores de busca irão rastrear todo o sítio Web, o que talvez prefira evitar.

Senior SEO-specialist

Ralf van Veen

Senior SEO-specialist
Five stars
Obtenho um 5.0 no Google em 75 revisões

Há 10 anos que trabalho como especialista independente em SEO para empresas (nos Países Baixos e no estrangeiro) que pretendem obter uma classificação mais elevada no Google de uma forma sustentável. Durante este período, prestei consultoria a marcas de renome, criei campanhas internacionais de SEO em grande escala e orientei equipas de desenvolvimento globais sobre otimização de motores de busca.

Com esta vasta experiência em SEO, desenvolvi o curso de SEO e ajudei centenas de empresas a melhorar a sua capacidade de serem encontradas no Google de uma forma sustentável e transparente. Para isso, pode consultar o meu portefólio, referências e colaborações.

Este artigo foi originalmente publicado em 11 Abril 2024. A última atualização deste artigo foi em 11 Abril 2024. O conteúdo desta página foi escrito e aprovado por Ralf van Veen. Saiba mais sobre a criação dos meus artigos nas minhas directrizes editoriais.