Robots.txt

Robots.txt é um ficheiro que se encontra na pasta de raiz de um sítio Web, ou raiz. Um robots.txt tem várias funções, por exemplo, indicar aos motores de busca que sítio ou página Web podem ou não pesquisar. Isto também é importante para obter uma posição mais elevada no Google.

O que é o robots.txt?

Um ficheiro robots.txt é um ficheiro de texto acessível ao público. Trata-se de um ficheiro muito importante, uma vez que indica ao motor de busca exatamente que parte de um sítio Web pode ou não ser indexada por um motor de busca. Isto pode afetar significativamente o desempenho do sítio Web.

Para a otimização dos motores de busca(uma campanha de SEO, por exemplo), é uma ferramenta muito poderosa e também técnica. Não existe um robots.txt colocado no servidor Web? Assim, um motor de busca pode pesquisar todo o sítio Web.

Exemplos de robots.txt

É muito importante notar que um robots.txt não elimina uma página que já esteja indexada. Apenas impedirá que uma página seja indexada pelos rastreadores dos motores de busca. Assim, se uma página estiver online há algum tempo antes de ser adicionado um ficheiro robots.txt, continuará armazenada na base de dados do motor de busca.

A importância do robots.txt

Quando um motor de busca visita um determinado sítio Web, verifica sempre primeiro o ficheiro robots.txt. Na verdade, o robots.txt faz parte do Protocolo de Exclusão de Robôs (REP). Este protocolo regula a forma como os robots são autorizados a indexar e rastrear a Web. Isto é útil se, por exemplo, quiser que um motor de busca não indexe páginas duplicadas.

O impacto do robots.txt

O ficheiro robots.txt existe desde 1994 e foi concebido pelo holandês Martijn Koster. O seu sítio Web foi posto em causa por um motor de busca. Por conseguinte, o objetivo do robots.txt é obter mais controlo sobre a sua classificação e SEO. É muito importante se quiser que o seu sítio web tenha uma boa classificação.

O meu conselho

Para quem trabalha com um consultor de SEO de um sítio Web, é útil saber exatamente o que significa robots.txt e para que serve. Se não tiver o ficheiro robots.txt colocado no seu sítio Web, os motores de busca irão rastrear todo o sítio Web, o que talvez prefira evitar.