Todas as formas de excluir uma página no Google
Senior SEO-specialist
Tanto as meta tags como a X-Robots-Tag são cruciais para determinar a forma como os motores de busca interagem com o conteúdo de um sítio Web. À primeira vista, ambas as ferramentas parecem semelhantes, mas há uma diferença na aplicação, flexibilidade e âmbito.
Compreender as diferenças entre as duas ferramentas contribui para uma estratégia de SEO mais eficaz, especialmente em termos de gestão da visibilidade de um sítio Web nos motores de busca.
Exclusão de partes de um sítio Web
Existem várias opções para bloquear partes específicas de um sítio Web dos motores de busca. A opção a utilizar depende das necessidades específicas e da natureza do conteúdo que pretende ocultar.
Ficheiro Robots.txt
O ficheiro robots.txt é um ficheiro que se coloca no diretório raiz de um sítio Web. Dá instruções aos motores de busca sobre as partes de um sítio Web que podem ou não rastrear.
Embora seja uma ferramenta poderosa, também tem as suas limitações. A ferramenta não garante que o conteúdo excluído não seja indexado. A exclusão é um pedido e não uma proibição de mostrar o conteúdo excluído. O ficheiro Robots.txt é especialmente útil para excluir grandes secções de um sítio Web ou determinados tipos de ficheiros.
Meta tag Robots
A meta tag robots permite um controlo mais granular ao nível da página. Coloque a etiqueta na secção do HTML e indique especificamente se uma página deve ser indexada ou rastreada. Esta ferramenta é especialmente útil para páginas com promoções temporárias ou resultados de pesquisa interna que não devem aparecer nos resultados dos motores de busca.
Cabeçalho HTTP X-Robots-Tag
O cabeçalho HTTP X-Robots-Tag é semelhante à meta tag robots, mas ao nível do servidor. Esta etiqueta não pode ser aplicada a ficheiros não HTML, como PDFs ou imagens. As ferramentas são especialmente úteis no caso de controlo técnico do servidor e de instruções que ultrapassam as capacidades do HTML.
Pedir remoção através da Consola de Pesquisa do Google
Caso as páginas precisem de ser removidas do índice do Google mais rapidamente do que um processo de rastreio normal permitiria, é possível enviar um pedido de remoção através da Consola de Pesquisa do Google. Isto faz com que a página desapareça imediatamente dos resultados de pesquisa. No entanto, não substitui a necessidade de um método permanente como uma etiqueta noindex.
Guia prático para utilizar o noindex
O Noindex é uma parte importante do roteiro de SEO, desde que seja utilizado de forma cuidadosa e estratégica.
O impacto do noindex na visibilidade de uma página
A etiqueta noindex diz explicitamente aos motores de busca para não incluírem uma página no índice. Assim, a página não aparecerá nos resultados da pesquisa. Determinadas páginas – como conteúdos temporários, páginas duplicadas ou conteúdos privados – não são apresentadas.
No entanto, as etiquetas noindex não impedem o rastreio de páginas ou de ligações nas páginas. Isto só é possível quando se utiliza “nofollow”.
A implementação do noindex
- Escolha as páginas certas: identifique quais as páginas que não quer nos resultados da pesquisa, como páginas duplicadas, páginas privadas ou páginas com conteúdo temporário ou reduzido.
- Adicionar a etiqueta noindex: colocar a etiqueta <meta name=”robots” content=”noindex”> na secção <head> do HTML das páginas relevantes.
- Verificar a implementação: utilize ferramentas como a Consola de Pesquisa do Google para verificar se a etiqueta foi implementada corretamente e se os motores de busca a reconhecem.
- Monitorizar o impacto: monitorizar o estado do índice das páginas. Por vezes, os motores de busca demoram algum tempo a responder à etiqueta noindex, por isso, monitorize regularmente para ter uma boa imagem.
- Atualizar quando necessário: remover o noindex se for necessário que uma página volte a ser visível.
Eliminar páginas utilizando a Ferramenta de remoção de URL do Google
Nalguns casos, excluir a página dos motores de busca não é suficiente. Por exemplo, quando é necessário remover informações sensíveis e uma página indexada acidentalmente tem de ser removida dos resultados de pesquisa o mais rapidamente possível. Neste caso, utilize a Ferramenta de Remoção de URL do Google. Esta ferramenta pode remover temporariamente URLs dos resultados de pesquisa do Google.
Note-se que esta é apenas uma solução temporária. As etiquetas Noindex continuam a ser necessárias para uma remoção permanente ou para remover conteúdos de um sítio.
Ferramenta de remoção de URL para uma ação rápida
A Ferramenta de Remoção de URL é ideal para uma ação rápida. Utilize a ferramenta através da Consola de Pesquisa do Google. Para tal, introduza o URL a ser extraído dos resultados da pesquisa. Esta remoção demora cerca de seis meses.
Após esses seis meses, a página pode reaparecer nos resultados de pesquisa. Evite-o, por exemplo, colocando uma etiqueta noindex ou eliminando permanentemente uma página.
Remoção a longo prazo ou permanente
Para a remoção permanente ou a longo prazo de uma página dos resultados de pesquisa, a Ferramenta de Remoção de URL não é suficiente. Remova você mesmo o conteúdo ou adicione uma etiqueta noindex.
Certifique-se de que o servidor devolve um código de estado 404 (não encontrado) ou 410 (permanentemente eliminado). Estes códigos informam os motores de busca de que a página já não existe e pode ser removida do índice ao longo do tempo.
Todas as opções num relance
A tabela abaixo apresenta várias possibilidades de Meta tags e X-Robots-Tag.
| Possibilidade | Meta tags | X-Robots-Tag |
|---|---|---|
| Localização | Na secção <head> de uma página HTML. | No cabeçalho de resposta HTTP, do lado do servidor. |
| Âmbito de aplicação | Apenas na página específica em que são publicadas. | Em qualquer tipo de resposta HTTP, incluindo ficheiros não HTML. |
| Flexibilidade | Deve ser adicionado manualmente a cada página. | Mais flexível, pode ser aplicado em todo o servidor. |
| Utilizar para páginas HTML | Instruções para indexação e rastreio de ligações. | As mesmas capacidades das meta tags, mas do lado do servidor. |
| Para outros ficheiros, utilize | Não aplicável. | Pode ser utilizado para imagens, PDFs e outros suportes. |
| Complexidade das instruções | Limitado a instruções básicas por página. | Capacidade para tratar instruções e condições mais complexas. |
| Exemplo | <meta name="robots" content="noindex, nofollow"> | Header set X-Robots-Tag "noindex, noarchive, nosnippet" |
Esta tabela mostra que a etiqueta X-Robots tem mais flexibilidade e possibilidades de aplicação mais alargadas, especialmente para conteúdos não HTML e cenários mais complexos.
Erros comuns
Evite erros comuns ao excluir páginas da indexação. A utilização incorrecta de robots.txt, X-Robots-Tag e Meta tags pode produzir resultados negativos. Assim, as páginas podem ainda afetar negativamente a posição de SEO nos resultados de pesquisa.
Armadilhas Robots.txt
Parte-se frequentemente do princípio de que bloquear uma página no robots.txt significa que a página não será indexada. Este é um erro comum. O Robots.txt impede que os motores de busca rastreiem o conteúdo de uma página, mas a página pode continuar a aparecer no índice se estiver ligada a outro sítio.
A indexação pode ser evitada utilizando noindex numa meta tag robots ou X-Robots-Tag.
Há também muitos mal-entendidos recorrentes na utilização das etiquetas mete e da etiqueta X-Robots. É importante compreender que estas etiquetas fornecem instruções aos motores de busca sobre a indexação e o seguimento de ligações.
Em caso de configuração incorrecta, pode ocorrer uma indexação não desejada ou as páginas que deveriam ser indexadas são excluídas. Teste sempre a implementação antecipadamente para evitar problemas de SEO.
As meta-tags e as X-Robot-Tag são ambas utilizadas para dar instruções aos motores de busca sobre a forma como devem tratar determinado conteúdo de um sítio Web. As funções são semelhantes, mas as ferramentas diferem na sua aplicação e flexibilidade.
- Meta tags:
- Localização: As meta-etiquetas são colocadas diretamente no HTML de uma página Web individual, normalmente na secção <head>.
- Âmbito: As meta-etiquetas só se aplicam à página específica em que são colocadas.
- Flexibilidade: As meta-etiquetas têm uma flexibilidade limitada, uma vez que têm de ser aplicadas manualmente a todas as páginas pretendidas.
- Utilização: As meta-etiquetas indicam, entre outras coisas, como os motores de busca devem indexar uma página (por exemplo, com noindex, nofollow).
- Exemplo: <meta name=”robots” content=”noindex, nofollow”>
- X-Robots-Tag:
- Localização: X-Robots-Tag é um cabeçalho HTTP e é enviado na resposta HTTP do servidor.
- Âmbito: X-Robots-Tag pode ser aplicado a qualquer tipo de resposta HTTP. Isto aplica-se não só a páginas HTML, mas também a suportes como imagens ou ficheiros PDF.
- Flexibilidade: X-Robots-Tag é mais flexível e poderoso do que as meta tags, especialmente quando se trata de gerir instruções de rastreio para ficheiros não HTML.
- Utilização: são utilizadas instruções mais complexas através da utilização do X-Robots-Tag – pense em combinar diferentes directrizes para diferentes motores de busca ou em aplicar regras baseadas em determinados critérios.
- Exemplo: na configuração de um servidor, é possível adicionar uma regra como Header set X-Robots-Tag “noindex, noarchive, nosnippet”.
As meta-tags limitam-se, portanto, a dar instruções aos motores de busca ao nível da página dentro do código HTML, enquanto a tag X-Robot fornece uma forma mais versátil e poderosa de gerir instruções de rastreio. Esta forma é aplicável a uma vasta gama de tipos de conteúdo e através de configurações de servidor.
Alinhar as estratégias de exclusão com os objectivos de SEO
Ao determinar as estratégias de exclusão nos objectivos de SEO, é importante saber o que o sítio Web precisa de alcançar. Considere quais as partes que ajudam a melhorar a SEO e quais as que não ajudam. As estratégias de exclusão visam não só ocultar conteúdos, mas também ajudar os motores de busca a concentrarem-se nos conteúdos que realmente interessam. Por isso, pense estrategicamente na utilização de ferramentas como robots.txt, X-Robots-Tag e tags noindex.
A exclusão de conteúdos que não contribuem para uma melhor otimização de SEO (por exemplo, páginas duplicadas ou resultados de pesquisa interna) pode contribuir para a criação de conteúdos mais relevantes e visíveis de maior qualidade.
O equilíbrio entre visibilidade e privacidade
Embora a visibilidade seja essencial para atrair tráfego, nem todos os conteúdos se destinam a ser exibidos ao público. Por razões de privacidade, pode ser necessário ocultar algumas partes de um sítio Web, incluindo informações específicas do utilizador ou dados internos.
O que é importante é encontrar o equilíbrio correto. O conteúdo deve ser valioso para a indexação e para obter uma classificação mais elevada no Google, mas as informações sensíveis também devem ser protegidas. Certifique-se de que ambas as partes são bem cumpridas.
Resumo
As meta-tags e as X-Robots-Tag são ambas essenciais para gerir a forma como os motores de busca tratam o conteúdo de um sítio Web. No entanto, há diferenças.
As meta-tags são particularmente adequadas para aplicar instruções básicas a páginas HTML individuais, enquanto a tag X-Robots oferece uma solução mais flexível e poderosa para uma gama mais vasta de tipos de conteúdo e cenários mais complexos. Isto ajuda a orientar a visibilidade e a indexação de um sítio Web de forma mais precisa e fornece um roteiro de SEO mais direcionado.
