Begrippenlijst · Technische SEO · Googlebot
Wat is crawl budget?
Crawl budget is het aantal pagina's dat Googlebot per dag bereid is te crawlen op jouw website. Voor grote sites met duizenden pagina's is efficiënt crawl-budgetbeheer essentieel. Live calculator: zie hoeveel van jouw crawl budget verspild wordt.
01 — calculatorLive crawl-budget-calculator
Google bepaalt het crawl-budget van een site op basis van twee factoren: crawl rate limit (hoe snel mag Googlebot crawlen zonder de server te overbelasten) en crawl demand (hoeveel interesse heeft Google in jouw pagina's, gebaseerd op populariteit en updates). Stel jouw sitegrootte in en zie hoe het crawl-budget is verdeeld.
Live · crawl-budget-verdeling · efficiencycrawl-budget-calculator
Totaal pagina's5.000
% waardevolle pagina's60%
Crawls per dag (schatting)800
↓ Dagelijkse crawl-budget-verdeling
— nuttig gecrawld
— verspild aan lage-waarde pagina's
Crawl-budget is alleen relevant voor grote sites (1.000+ pagina's). Voor kleinere sites crawlt Google alle pagina's toch al. Als jouw site minder dan 500 pagina's heeft: focus op content en links, niet op crawl-budget-optimalisatie.
02 — verspillers5 grootste crawl-budget-verspillers
5 verspillers · prioriteit hoog → laagcrawl-budget-lekken
URL-parameters en filterpagina's
E-commerce: elke filtercombo (kleur+maat+merk) genereert een aparte URL. 1.000 producten × 50 filtercombinaties = 50.000 lage-waardepagina's. Oplossing: canonical naar hoofdcategorie + robots.txt-blokkade van parameters. Zie ook disallow.
Hoog impact
Duplicate content-pagina's
Pagina's met www/non-www-duplicaten, HTTP/HTTPS-varianten of trailing-slash-varianten verdubbelen het crawlverzoek per pagina. Oplossing: 301-redirects + canonical-tags. Zie ook duplicate content.
Hoog impact
Dode links en 404-pagina's
Googlebot verspilt crawl-budget aan URLs die 404-antwoorden geven. Elke 404-pagina kost een crawl-slot. Oplossing: 301-redirects vanuit populaire dode links, periodieke broken-link-audit. Zie ook dode link.
Middel impact
Thin content-pagina's
Pagina's met minder dan 100-200 woorden zonder unieke waarde. Google crawlt ze, vindt weinig, en geeft ze een lage prioriteit. Oplossing: noindex of samenvoegen met relevante pagina's.
Middel impact
Overbodige XML-sitemaps
Verouderde sitemap-URLs die naar niet-bestaande of genoindexde pagina's verwijzen verwarren Googlebot. Oplossing: sitemap up-to-date houden met alleen geïndexeerde, canonieke URLs.
Laag impact
03 — optimalisatieCrawl-budget-optimalisatie per sitetype
3 sitetypen · aanpak per typeoptimalisatiestrategie
🛍 E-commerce (10.000+ producten)
Prioriteit: URL-parametersbeheer via GSC + canonical op filterpagina's. Gebruik Crawl Stats in Google Search Console om te zien welke paths het meeste budget consumeren. Blokkeer sessie-ID's, sorteerparameters en print-varianten via robots.txt.
📰 Nieuwssite / blog (dagelijkse updates)
Prioriteit: verse content snel laten crawlen. Gebruik News-sitemap voor prioritaire artikelen. Noindex op oudere archiefpagina's met weinig traffic. Pagespeed verhogen verlaagt Googlebot's crawl-rate-limit.
🏢 B2B-website (100-500 pagina's)
Crawl-budget is hier nauwelijks een issue. Focus in plaats daarvan op sitestructuur, interne links en content-kwaliteit. Crawl Stats monitoren als signaalmeting — afwijkingen wijzen op technische problemen, niet op budgetproblemen.
04 — faqVeelgestelde vragen
FAQ · 3 vragenklik om te openen
Hoe zie ik mijn crawl-budget in Google Search Console?›
Via Crawl Stats-rapport. Vier stappen. (1) Google Search Console → Instellingen → Crawl Stats. (2) Bekijk de gemiddelde dagelijkse crawl-aanvragen: dit is een benadering van jouw dagelijks gecrawlde pagina's. (3) Controleer de HTTP-statusverdeling: hoeveel 404's, 301's en 200's? Een hoog percentage 404's en redirects wijst op crawl-budget-verspilling. (4) Bekijk de Response time-grafiek: langzame responsetijden (>500ms) verlagen de crawl-rate. Pagespeed-optimalisatie vergroot het effectieve crawl-budget. Vergelijk maand-over-maand trends voor groeiende sites.
Heeft meer backlinks invloed op mijn crawl-budget?›
Ja — positief. Drie nuances. (1) Crawl demand verhoogd: Google crawlt pagina's vaker als ze populair zijn (veel inkomende links, hoge traffic). Een pagina met 100 backlinks wordt frequenter gecrawld dan een pagina zonder links. (2) Autoriteit van het domein: domeinen met hoge Domain Rating worden als geheel vaker gecrawld. Google investeert meer crawl-budget in sites die het vertrouwen waard zijn. (3) Indirecte relatie: meer backlinks → hogere DR → hogere crawl demand → meer crawls → snellere indexering van nieuwe content. Dit is een van de minder-genoemde voordelen van linkbuilding naast rankings. Zie ook Domain Rating.
Is het zinvol om Googlebot te vertragen via crawl-delay?›
Zelden — en Google ondersteunt het niet meer. Drie punten. (1) Google negeert Crawl-delay: in tegenstelling tot Bing respecteert Googlebot de Crawl-delay-directive in robots.txt niet. Google regelt zijn eigen crawlsnelheid op basis van serverresponstijden. (2) GSC Crawl Rate-instelling: in Google Search Console (Instellingen → Crawl Rate) kun je Googlebot verzoeken langzamer te crawlen. Dit is de enige methode die Google erkent. (3) Wanneer zinvol: alleen als jouw server aantoonbaar overbelast raakt door Googlebot (verifieerbaar in serverlogboeken). Bij normale servers is vertraging nooit wenselijk — meer crawls = snellere indexering van nieuwe content.
Technische SEO-audit inclusief crawl-budget-analyse?
Via een crawl-analyse identificeer ik waar jouw crawl-budget verspild wordt en prioriteer ik de verbeteringen met de grootste indexeringsimpact.
Plan een gesprek met Ralf →