Techniek · Pipeline · Google
Crawlen, indexeren en ranken.
Crawlen, indexeren en ranken: de drie fases die elke pagina doorloopt voor Google. 3-fase pipeline-visualisatie, 5 crawl-issues, 6 indexering-blokkers en optimalisatie per fase.
01 — pipelineDe 3-fase pipeline: crawlen → indexeren → ranken
Elke pagina die in Google verschijnt heeft drie fases doorlopen: crawlen (ontdekking), indexeren (opslag) en ranken (positionering). Veel SEO-issues ontstaan doordat één van deze fases faalt. Een pagina kan goed gecrawld zijn maar niet geïndexeerd. Of geïndexeerd maar nooit gerankt. Begrijp de drie fases en je kunt elk SEO-probleem precies plaatsen. Voor breder context op indexering zie manieren om indexering te stimuleren.
3 fases · Google's discovery-pipelinevan URL naar SERP
Fase 01
Crawlen
Googlebot ontdekt URLs. Via sitemaps, interne links, externe links of GSC-submissions. Crawler downloadt HTML, volgt links, executes JavaScript.
Googlebot
→
Fase 02
Indexeren
Google analyseert + slaat op. Tekst-extraction, image-analysis, schema-parsing, canonical-detection. Beslissing: wel/niet opnemen in zoek-index.
Caffeine-index
→
Fase 03
Ranken
Bij elke zoekopdracht positioneert Google. 200+ ranking-signalen worden gewogen. Content-relevantie, backlinks, user-signals, expertise.
Algoritmes
Belangrijk inzicht: een pagina kan in fase 1 falen (niet gecrawld), fase 2 falen (gecrawld maar geweigerd voor index), of fase 3 falen (geïndexeerd maar geen rankings). Diagnose start altijd met "in welke fase zit het probleem?".
02 — crawl-issues5 crawl-issues die SEO direct schaden
De meest voorkomende fase 1-problemen — pagina's die nooit door Googlebot worden gevonden of bezocht. Vaak ontdekt via Google Search Console > Crawl-statistieken.
5 issues · fase 1 problemencrawl-blockers
1. Robots.txt blokkeert kritieke pages
Disallow-rules per ongeluk te breed. "Disallow: /" blokkeert alles. Per ongeluk in staging-config achtergebleven. Fix: robots.txt valideren via GSC > Robots.txt tester. Belangrijke pages crawlable maken.
2. Geen interne links naar nieuwe content
Pagina niet gelinkt vanuit andere pages. Geïsoleerde pages (orphan pages) — Googlebot ontdekt ze niet via crawling. Fix: link nieuwe content vanuit hub-pages, blog-overzichten, sitemaps en gerelateerde artikelen.
3. Sitemap.xml verouderd of incomplete
Sitemap mist nieuwe URLs of toont oude 404-URLs. Crawler vertrouwt sitemap voor discovery. Fix: dynamische sitemap-generation. Update bij elke nieuwe page. Submit via GSC en monitor coverage-report.
4. Server returnt 5xx errors
Crawler ontvangt server-errors. Googlebot vermindert crawl-rate, soms tot 0. Fix: server-uptime monitoren. 503-during-maintenance is acceptabel — 500-errors niet. Server-logs analyseren voor patterns.
5. Crawl-budget verspild aan low-value pages
Faceted navigation, search-result-pages, tag-archives consumen crawl-budget. Fix: noindex of robots.txt-disallow voor low-value URLs. Belangrijk voor grote sites (10.000+ URLs).
03 — index-blockers6 indexering-blokkers (fase 2 problemen)
Pagina's gecrawld maar geweigerd voor de index. Te zien in GSC > Pages > "Niet geïndexeerd". De zes meest voorkomende oorzaken:
6 blockers · fase 2 problemenindex-rejection
1. Noindex meta-tag of HTTP-header
Per ongeluk meta name="robots" content="noindex" in template. Google respecteert dit als directe instructie. Fix: noindex verwijderen voor pages die WEL moeten ranken. Test via View Source.
2. Canonical wijst naar andere URL
rel="canonical" verwijst naar duplicate URL. Google indexeert de canonical-target, niet huidige pagina. Fix: self-referencing canonical voor unieke pages, juiste cross-references voor duplicate-management.
3. Thin content of duplicate content
Te weinig unieke waarde. Auto-generated pages, scraped content, herhaalde varianten. Google indexeert deze niet of dedupliceert. Fix: substantiële, unieke content per page. Consolideer thin pages.
4. Soft 404's (lege pages met 200-status)
Lege resultaat-pages, "no results found". Google ziet 200-OK maar geen content = soft 404. Fix: serve 404 of 410 voor lege results. Of voeg helpful content + redirect-suggestions toe.
5. JavaScript-rendering issues
Content alleen na JS-execution. Googlebot Wave 1 ziet lege HTML. Wave 2 kan dagen later komen. Fix: SSR/SSG voor critical content. Test via URL Inspection > View crawled page.
6. Pagina te ver in clickdiepte
Meer dan 4 klikken vanaf homepage. Google interpreteert dit als low-priority. Fix: flatte hiërarchie. Belangrijke pages binnen 3 klikken via hub-pages en pillar-strategy.
04 — faqVeelgestelde vragen
FAQ · 3 vragenklik om te openen
Hoe weet ik in welke fase mijn pagina vastzit?›
Google Search Console toont het exact. Vijf diagnostische stappen. (1) URL Inspection tool. Voer pagina-URL in. Status laat zien: "URL is on Google" = succes, "URL is not on Google" = fase 1 of 2 issue. (2) "Discovered - currently not indexed". Fase 2 issue. Google heeft URL gevonden maar besloot niet te indexeren. Vaak content-quality of crawl-budget probleem. (3) "Crawled - currently not indexed". Fase 2 issue, ernstiger. Crawler bezocht maar weigerde. Vaak thin content of duplicate. (4) "Page with redirect" of "Excluded by 'noindex' tag". Specifieke fase 2 reasons. Direct fixbaar. (5) Bulk-analyse via Coverage-report. Groepeert alle non-indexed URLs per reason. Voor breder context zie Google Search Console gids.
Hoe versnel ik crawling van nieuwe content?›
Crawling kan binnen uren werken in plaats van dagen. Zes acties. (1) GSC URL Inspection > Request Indexing. Directe request aan Googlebot. Maximaal 10-15 per dag. Voor belangrijke nieuwe pages cruciaal. (2) Sitemap update + submit. Sitemap-modificatie triggert re-crawl-prioritization. Voeg lastmod-date toe voor nieuwe content. (3) Interne links vanuit high-traffic pages. Sterk gerankte homepage of populaire blogposts. Crawler bezoekt deze frequenter — vindt nieuwe links sneller. (4) Externe link van high-authority site. Vermelding op nieuws-sites of branche-blogs. Versnelt discovery enorm. (5) Social sharing voor visibility. Niet direct crawl-trigger, maar shares leiden tot links + traffic die wel crawl-stimulerend zijn. (6) IndexNow voor real-time updates. Bing-protocol, Yandex ondersteunt ook. Google support volgt mogelijk. Voor breder context zie manieren om indexering te stimuleren.
Waarom kan een pagina geïndexeerd zijn zonder te ranken?›
Indexering is voorwaarde, geen garantie. Vijf rank-blockers ondanks indexering. (1) Content-relevantie laag. Pagina is in index maar mismatch met search-intent. Google ranked het simply niet voor relevante queries. Verbeter content-targeting. (2) Concurrentie te sterk. Andere pages hebben sterkere autoriteit, betere content, of meer backlinks. Verbetering vraagt strategie, niet alleen tech-fix. (3) Te nieuwe pagina ("sandbox"-effect). Eerste 3-6 maanden vaak lagere rankings ondanks indexering. Geduld + consistent kwaliteit. (4) Hreflang of canonical naar concurrerende variant. Pagina geïndexeerd maar Google toont een andere versie. Audit hreflang-setup. (5) Lage CTR signaal. Geïndexeerd, even gerankt, lage CTR = Google laat zakken. Verbeter title-tag + meta-description voor betere CTR. Voor breder context zie de gemiddelde CTR vanuit Google.
Crawl + indexering-audit voor jouw site?
Volledige pipeline-audit met identificatie van crawl-blockers, index-rejection-redenen en rank-issues per fase. Plus crawl-budget-optimalisatie en sitemap-restructure voor grote sites.
Plan een gesprek met Ralf →