Configurar corretamente o robots.txt para SEO (o meu guia)
Senior SEO-specialist
O robots.txt é um pequeno ficheiro com um grande impacto. Determina o que os motores de busca podem ou não rastrear no teu sítio Web. Um erro neste ficheiro pode resultar em conteúdo bloqueado, indexação falhada ou mesmo perda de classificação. Neste artigo, explico passo a passo como configurar corretamente um ficheiro robots.txt para SEO.
1. O que é o robots.txt?
O robots.txt é um ficheiro de texto que colocas na raiz do teu domínio (por exemplo, https://jouwdomein.nl/robots.txt). Os motores de busca lêem este ficheiro na sua primeira visita para determinar os caminhos que podem rastrear.
Importante:
- Não é uma garantia de que algo não será indexado (utiliza também o noindex para isso)
- Bloqueia o rastreio, não necessariamente a indexação
- Regras incorrectas podem causar danos não intencionais em termos de SEO
2. Estrutura de um ficheiro robots.txt
Um ficheiro padrão tem o seguinte aspeto:
txt
User-agent: *
Disallow:
Sitemap: https://jouwdomein.nl/sitemap.xml
Explica-te:
- Agente do utilizador: * = aplica-se a todos os bots
- Disallow: sem caminho = permite tudo
- Disallow: /admin/ = bloqueia tudo na pasta /admin/
- Allow: /path/ = permite explicitamente (útil para excepções)
3. O que estás a bloquear e o que não estás a bloquear?
Mas bloqueia:
- Páginas de administração/login (/wp-admin/, /cart/, /checkout/)
- Resultados da pesquisa interna (/search/)
- Filtra páginas com parâmetros desnecessários (?color=, ?sort=)
- Diretórios de teste/dev (/beta/, /test/)
Não bloqueies:
- Ficheiros CSS e JS (necessários para o controlo de renderização)
- Tipos de páginas principais (páginas SEO, blogue, serviços)
- Imagens (a menos que queiras deliberadamente mantê-las fora dos resultados da pesquisa de imagens)
O Google deve ser capaz de processar o site como os utilizadores o fazem. Por isso, não bloqueies ficheiros de estilo ou de script.
Aan de slag met SEO? Neem gerust contact op.
4. Exemplos de boa configuração
Para o WordPress:
txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://jouwdomein.nl/sitemap_index.xml
Para loja virtual (por exemplo, WooCommerce):
txt
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?orderby=
Disallow: /*add-to-cart=*
Sitemap: https://jouwdomein.nl/sitemap.xml
5. Testa o teu ficheiro robots.txt
Os erros surgem rapidamente. Testa sempre:
- Google Search Console > Testador de Robots.txt
- Screaming Frog > Configuração > Robots.txt
- Chrome DevTools > Mensagens de erro “Bloqueado por robots.txt
6. Erros comuns
| Erro | Solução |
| Bloqueia tudo com Disallow: / | Aplicar apenas em situações de preparação/temporárias |
| Bloqueio de CSS/JS | Deixa sempre acessível para uma apresentação correta |
| Não inclui uma linha de mapa do site | Adiciona o mapa do site na parte inferior do ficheiro |
| Não permite: /*? usa sem teste | Certifica-te de que os parâmetros que têm valor permanecem acessíveis |
| Utilizar robots.txt em vez de noindex | Utiliza noindex para controlo de indexação, robots.txt apenas para rastreio |
7. Robots.txt e ambientes de preparação/teste
Queres proteger ambientes de teste ou de preparação?
Usa-o:
txt
User-agent: *
Disallow: /
Mas: isto só impede o rastreio, não a indexação. Combina com:
- Autenticação HTTP (segurança básica)
- noindex em <meta> tags
- Bloqueia o endereço IP através de .htaccess ou firewall
Em conclusão
Um robots.txt corretamente definido evita o desperdício de rastreio e protege o teu site de problemas de indexação não intencionais. Trabalha com regras claras e controladas – e testa cada alteração. Pequeno ficheiro, grande efeito.
