Begrippenlijst · Robots.txt · Technische SEO
Wat is Disallow?
Disallow is een directive in het robots.txt-bestand die webcrawlers verbiedt bepaalde URL-paden te bezoeken. Live robots.txt-builder — selecteer crawlers en regels en zie het gegenereerde robots.txt-bestand direct.
01 — builderLive robots.txt-builder
Het robots.txt-bestand staat in de root van een website (voorbeeld.nl/robots.txt) en bevat instructies voor webcrawlers. Een Disallow-regel vertelt een crawler: "bezoek dit pad niet." Een Allow-regel heft een eerdere disallow op voor een specifiek subpad. Selecteer welke crawlers en regels je wil toepassen.
Live · robots.txt-builder · directe previewgegenereerde output
User-agent (crawler)
Disallow-regels (klik om aan/uit)
Allow-uitzonderingen
↓ Gegenereerd robots.txt-bestand
Disallow blokkeert crawling, niet indexering. Als andere sites linken naar een geblokkeerde URL, kan Google die URL toch in zijn index houden — zonder de content te kennen. Wil je een pagina écht uit de index? Gebruik noindex in de pagina-header zelf (en laat de pagina crawlbaar). Zie ook noindex-pagina.
02 — valkuilen4 veelgemaakte fouten in robots.txt
4 fouten · en hoe ze te vermijdenkritische valkuilen
Disallow: / — volledige site geblokkeerd
De meest-verwoestende robots.txt-fout:
FIX → Controleer live robots.txt via Google Search Console → Crawl → robots.txt TesterDisallow: / blokkeert de volledige site voor alle crawlers. Treedt op bij CMS-migraties of staging-omgevingen die per ongeluk live worden gezet. Controleer robots.txt altijd na een site-lancering.Noindex + robots.txt disallow combinatie
Als je een pad blokkert met robots.txt én noindex zet op pagina's onder dat pad, werkt de noindex niet. Google kan de pagina niet crawlen en dus de noindex-tag niet lezen. Resultaat: pagina kan toch geïndexeerd blijven via externe links.
FIX → Kies één methode: óf robots.txt disallow óf noindex, nooit beideCSS en JS bestanden geblokkeerd
Disallow op
FIX → Blokkeer nooit mappen met CSS, JS of afbeeldingen die Google nodig heeft/wp-content/ of /assets/ blokkeert CSS, JavaScript en afbeeldingen. Google kan de pagina dan niet correct renderen en beoordelen. Dit schaadt rankings doordat Google de opmaak en functionaliteit niet ziet.Case-sensitive fouten
Disallow: /Admin/ blokkeert niet /admin/. Robots.txt-paden zijn case-sensitive. Een hoofdletterfout zorgt ervoor dat de disallow-regel niet werkt voor de bedoelde URLs.03 — wanneerWanneer gebruik je Disallow?
Disallow is zinvol voor drie categorieën pagina's:
3 categorieën · disallow is zinvolcrawl-budget optimalisatie
✓ Admin- en interne systemen
/wp-admin/, /login/, /admin/, /checkout/. Geen zoekwaarde, geen reden voor Google om ze te crawlen. Bespaart crawl-budget en verbetert veiligheid door minder zichtbaarheid.✓ Staging- en test-omgevingen (als subdirectory)
/staging/, /test/, /dev/. Voorkomen dat onvolledige pagina's worden geïndexeerd. Beter: staging op een apart (sub)domein met HTTP-authenticatie.⚠ Crawl-budget besparen op grote sites
E-commerce sites met duizenden filter-URL's kunnen
/zoek/, /?sort= en andere parameter-paden blokkeren om crawl-budget te concentreren op waardevolle productpagina's. Altijd testen in Search Console eerst.04 — faqVeelgestelde vragen
FAQ · 3 vragenklik om te openen
Volgt Google altijd robots.txt-regels op?›
Grotendeels — maar het is geen harde technische blokkade. Drie nuances. (1) Google als goedwillende crawler: Google respecteert robots.txt vrijwel altijd. Het is echter een conventie, geen technische beveiliging. Kwaadwillende bots negeren robots.txt volledig. (2) Geen garantie voor indexering: Google kan een URL toch in de index opnemen als andere sites ernaar linken — ook als die URL geblokkeerd is in robots.txt. De URL verschijnt dan zonder beschrijving ("A description for this result is not available"). (3) Crawl-budget vs indexering: robots.txt controleert crawling, niet indexering. Wil je indexering voorkomen: noindex is de enige betrouwbare methode. Zie ook noindex-pagina.
Wat is het verschil tussen Allow en Disallow?›
Allow heft een Disallow op voor een subpad. Vier punten. (1) Standaard: alles is allow — een robotsbestand zonder regels geeft crawlers volledige toegang. (2) Disallow-scope:
Disallow: /mappen/ blokkeert alles onder dat pad. (3) Allow-uitzondering: Allow: /mappen/openbaar/ na een Disallow: /mappen/ geeft toegang tot dat specifieke subpad. Allow + Disallow op hetzelfde niveau: de langste (meest-specifieke) regel wint. (4) Voorbeeld: Disallow: /intern/ + Allow: /intern/persbericht/ = alles in /intern geblokkeerd behalve /intern/persbericht/. Zie ook robots exclusion standard.Hoe test ik of mijn robots.txt correct werkt?›
Drie methoden. (1) Google Search Console robots.txt Tester: onder Legacy Tools → robots.txt Tester. Test specifieke URLs en zie direct of ze blocked of allowed zijn. Toont ook eventuele syntaxfouten. (2) Google Search Console Coverage: controleer of pagina's die je wil indexeren niet als "Blocked by robots.txt" verschijnen. (3) URL: bezoek voorbeeld.nl/robots.txt direct in de browser. Controleer de inhoud op onbedoelde disallow-regels — met name
Disallow: / of te brede paden. Altijd na een CMS-update of migratie controleren.Robots.txt-audit voor jouw website?
Via een technische SEO-audit controleer ik of jouw robots.txt correct is geconfigureerd en of crawl-budget optimaal wordt ingezet.
Plan een gesprek met Ralf →