Robots.txt correct configureren voor SEO (mijn gids)
Senior SEO-specialist
De robots.txt is een klein bestand met grote impact. Het bepaalt wat zoekmachines wél en níet mogen crawlen op je website. Een fout in dit bestand kan zorgen voor geblokkeerde content, gemiste indexatie of zelfs rankingverlies. In dit artikel leg ik stap voor stap uit hoe je een robots.txt-bestand correct instelt voor SEO.
1. Wat is robots.txt?
De robots.txt is een tekstbestand dat je plaatst in de root van je domein (bijv. https://jouwdomein.nl/robots.txt). Zoekmachines lezen dit bestand bij hun eerste bezoek om te bepalen welke paden ze mogen crawlen.
Belangrijk:
- Het is géén garantie dat iets niet wordt geïndexeerd (gebruik daarvoor ook noindex)
- Het blokkeert crawlen, niet per se indexatie
- Foutieve regels kunnen onbedoeld SEO-schade veroorzaken
2. Structuur van een robots.txt-bestand
Een standaardbestand ziet er als volgt uit:
txt
User-agent: *
Disallow:
Sitemap: https://jouwdomein.nl/sitemap.xml
Uitleg:
- User-agent: * = geldt voor alle bots
- Disallow: zonder pad = alles toestaan
- Disallow: /admin/ = blokkeer alles in de /admin/-map
- Allow: /pad/ = expliciet toestaan (handig bij uitzonderingen)
3. Wat blokkeer je wel en niet?
Wel blokkeren:
- Admin-/loginpagina’s (/wp-admin/, /cart/, /checkout/)
- Interne zoekresultaten (/search/)
- Filterpagina’s met onnodige parameters (?color=, ?sort=)
- Test-/dev-mappen (/beta/, /test/)
Niet blokkeren:
- CSS- en JS-bestanden (nodig voor renderingcontrole)
- Belangrijke paginatypes (SEO-pagina’s, blog, diensten)
- Afbeeldingen (tenzij je ze bewust uit afbeeldingszoekresultaten wil houden)
Google moet de site kunnen renderen zoals gebruikers dat doen. Blokkeer dus geen styling- of scriptbestanden.
Aan de slag met SEO? Neem gerust contact op.
4. Voorbeelden van een goede configuratie
Voor WordPress:
txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://jouwdomein.nl/sitemap_index.xml
Voor webshop (bijv. WooCommerce):
txt
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?orderby=
Disallow: /*add-to-cart=*
Sitemap: https://jouwdomein.nl/sitemap.xml
5. Test je robots.txt-bestand
Fouten sluipen er snel in. Test altijd:
- Google Search Console > Robots.txt-tester
- Screaming Frog > Configuration > Robots.txt
- Chrome DevTools > “Blocked by robots.txt” foutmeldingen
6. Veelgemaakte fouten
| Fout | Oplossing |
| Alles blokkeren met Disallow: / | Alleen toepassen bij staging / tijdelijke situaties |
| CSS/JS blokkeren | Altijd toegankelijk laten voor correcte rendering |
| Geen sitemapregel opgenomen | Voeg sitemap toe onderaan het bestand |
| Disallow: /*? gebruiken zonder test | Zorg dat parameters die wél waarde hebben toegankelijk blijven |
| Robots.txt gebruiken i.p.v. noindex | Gebruik noindex voor indexatiebeheersing, robots.txt alleen voor crawling |
7. Robots.txt en staging/testomgevingen
Wil je test- of stagingomgevingen afschermen?
Gebruik:
txt
User-agent: *
Disallow: /
Maar: dit voorkomt alleen crawlen, geen indexatie. Combineer met:
- HTTP-authenticatie (basisbeveiliging)
- noindex in <meta> tags
- Blokkeer IP-adres via .htaccess of firewall
Tot slot
Een correct ingestelde robots.txt voorkomt crawlverspilling en beschermt je site tegen onbedoelde indexatieproblemen. Werk met duidelijke, gecontroleerde regels – en test bij elke wijziging. Klein bestand, groot effect.
