Techniek · Indexering-control · Robots
Alle manieren om een pagina uit te sluiten in Google.
6 manieren om pagina's uit te sluiten in Google: noindex meta tag, X-Robots-Tag header, robots.txt, password protection, 410 status en URL removal tool. Wanneer welke gebruiken?
01 — methodes6 methodes om pagina's uit te sluiten — vergelijking
Er zijn meerdere manieren om Google te vertellen dat een pagina niet getoond mag worden. Ze verschillen in: blokkeert crawling, blokkeert indexering, passeert link-equity. Hieronder de zes hoofdmethodes met hun karakteristieken. Voor breder context op canonical vs noindex zie noindex en canonical samen gebruiken.
6 methodes · vergelijking-matrixkarakteristieken
Methode 01
Noindex meta tag
<meta name="robots" content="noindex"> in HTML head. Crawler bezoekt pagina, ziet noindex, indexeert niet. Most-used voor specifieke pages.
Methode 02
X-Robots-Tag header
HTTP-header op server-niveau. Werkt ook voor PDF's, images, andere non-HTML files. Apache: .htaccess. Nginx: config. Voor bulk-control beter dan meta.
Methode 03
Robots.txt Disallow
Disallow: /pad/ in robots.txt. Blokkeert crawling — niet indexering. Page kan nog steeds in index met "no info available". Vaak misverstaan.
Methode 04
Password protection
HTTP authentication of login-required. Crawler kan niet bij content = no indexering. Voor staging-environments en gated content. Strongest exclusion.
Methode 05
410 Gone status code
HTTP 410 = "page permanent removed". Sneller out-of-index dan 404. Voor pagina's die definitief verdwenen zijn — niet voor temp-removal.
Methode 06
URL Removal Tool (GSC)
Search Console > Removals > New Request. Tijdelijk (6 maanden) uit zoekresultaten. Voor emergency-fixes. Permanent oplossing: combineer met noindex.
02 — beslissingBeslis-tabel: welke methode wanneer?
De juiste keuze hangt af van situatie. Hieronder de meest voorkomende scenarios met de juiste aanbeveling.
Beslis-tabel · situatie → methodecheat-sheet
Specifieke page niet in Google (bijv. thank-you-page)
Noindex meta
Categorie + alle subpages uitsluiten (bijv. /admin/)
X-Robots-Tag
PDF, image of andere non-HTML file uitsluiten
X-Robots-Tag
Staging-omgeving niet zichtbaar voor publiek
Password protection
Permanently deleted pages snel uit index
410 Gone
Crawl-budget besparen op low-value pages
Robots.txt
Emergency: gevoelige info per ongeluk geïndexeerd
URL Removal + noindex
03 — faqVeelgestelde vragen
FAQ · 3 vragenklik om te openen
Waarom verschijnt mijn robots.txt-disallowed pagina toch in Google?›
Veel voorkomende misconceptie — robots.txt blokkeert alleen crawling, niet indexering. Vijf principes voor begrip. (1) Robots.txt = "vertel crawler de page niet te bezoeken". Niet "vertel Google de page niet te indexeren". Subtiel maar cruciaal verschil. (2) Page kan in index via andere routes. Externe links naar de page = Google weet dat page bestaat. Toont in zoekresultaten met "no description available". (3) Fix: gebruik noindex via meta-tag of X-Robots-Tag. Maar dan moet je de page WEL laten crawlen. Verwijder robots.txt-disallow eerst. (4) Bij ernstige privacy-issues: password protection essentieel. Robots.txt is niet een security-tool — anyone can read robots.txt and find your "hidden" URLs. (5) GSC URL Removal als tijdelijke fix terwijl je permanente oplossing implementeert. 6 maanden tot je definitief noindex-of-password setup hebt. Voor breder context zie sitemap SEO.
Wat is het verschil tussen noindex en robots.txt in praktijk?›
Belangrijke distinction die vaak verkeerd wordt geïnterpreteerd. Vijf praktische verschillen. (1) Robots.txt = pre-crawl signal, voorkomt server-load. Goed voor: crawl-budget besparing op grote sites, low-value pages die Googlebot resources kosten. (2) Noindex = post-crawl signal, voorkomt indexering. Goed voor: pages die crawler MOET zien (om noindex te zien) maar die niet in zoekresultaten moeten verschijnen. (3) Combineren is paradox. Robots.txt-blocked + noindex = Google ziet noindex nooit (omdat crawler er niet komt). Page kan toch indexed worden via externe links. (4) X-Robots-Tag = noindex via HTTP-header. Werkt voor non-HTML files (PDF, images). Server-level dus geen page-modification nodig. Beter dan meta-tag voor bulk-control. (5) Voor SEO-cleanup standaard workflow: 1) noindex toevoegen, 2) wachten 4-6 weken tot Google ze de-indexeert, 3) eventueel robots.txt disallow toevoegen voor crawl-budget. Voor breder context zie canonical tags correct instellen.
Hoe snel verdwijnt een pagina uit Google na noindex?›
Timing varieert sterk. Vijf factoren die de-indexering-snelheid bepalen. (1) Crawl-frequentie van de page. High-traffic pages worden frequent gecrawld = 1-7 dagen na noindex-implementatie out of index. Low-traffic pages: 4-12 weken. (2) Versnellen via GSC URL Inspection. "Request Indexing" forceert Googlebot om page opnieuw te bezoeken — ziet noindex direct, deïndexeert binnen 1-3 dagen. (3) Sitemap als signal. Verwijder de noindex-page uit sitemap.xml na noindex. Dit signaleert dat page niet meer relevant is voor indexering. (4) Verwacht eerste week nog vermeldingen. Google's cache + index update takes time. Eerste week kan page nog in zoekresultaten verschijnen ondanks correcte noindex. Geen reden tot paniek. (5) Permanent verwijderde pages: 410 sneller dan noindex. Voor pages die definitief weg zijn, 410-status code vaak 50-70% sneller dan noindex. Voor temp-removal en privacy: GSC URL Removal direct effect. Voor breder context zie manieren om indexering te stimuleren.
Indexering-audit voor jouw site?
Complete audit van pagina's die NIET in Google zouden moeten staan: identificatie via Search Console, juiste exclusion-methode per page-type, implementatie + monitoring tot succesvolle de-indexering.
Plan een gesprek met Ralf →