Crawl Budget
Senior SEO-specialist
Een website zo hoog mogelijk in Google of andere zoekmachines laten verschijnen? Je hebt dan in ieder geval genoeg crawl budget nodig. Wat is crawl budget en op welke manier haal je hier het beste voor jouw website uit? Dat leg ik hier graag aan je uit.
Wat is crawl budget?
Crawl budget staat voor de hoeveelheid pagina’s die een zoekmachine per dag op je website indexeren op de inhoud. Bots scannen je website en op deze manier bepaalt een zoekmachine hoe relevant je website is. Iedere website heeft zijn eigen crawl budget.
De werking van een crawl budget
De crawl budget van een website is bij iedereen anders. Dit hangt onder andere af van hoe groot de website is, hoe vaak andere sites naar jouw website linken en hoe snel jouw website is. Met Google Search Console is het mogelijk om de crawl budget van jouw website te achterhalen.
Het is beter wanneer een zoekmachines jouw website regelmatig crawled. Dit zorgt ervoor dat je website relevant blijft in de zoekresultaten, wat de online vindbaarheid stimuleert. Het is dan ook slim om je crawl budget te optimaliseren. Dit is mogelijk door je website sneller te maken en door voor meer links te zorgen.
De impact van crawl budget op de SEO
Een crawl budget heeft zeker impact op de SEO van een website of pagina. Hoe hoger het crawl budget, hoe beter: je website ondervindt dan regelmatig een check door bots. Hierdoor blijft jouw website relevant voor de zoekmachine en heeft dat een positief effect op de organische vindbaarheid. Het is dan ook slim de juiste veranderingen door te voeren, zodat je optimaal profiteert van de beste resultaten.
Hoe bepaal ik hoeveel crawl budget een website heeft?
Vaak heb ik als SEO-specialist al snel een onderbuik gevoel van hoeveel crawl budget een website nou eigenlijk heeft. Ik uit dit graag in hoelang duurt het voordat Google een verandering aan de website oppikt (afhankelijk ook weer van waar die verandering in de website plaatsvindt). Een verandering aan de voorkant van de website (denk aan de homepagina) zal altijd sneller worden opgepikt dan een verandering aan de achterkant van een website.
De makkelijkste manier om de snelheid van een verandering te meten is door een page title te veranderen van een pagina naar keuze en simpelweg te meten wanneer de verandering ook daadwerkelijk in de SERP te zien is.
Crawl budget via de Google Search Console meten
Wanneer je in de Google Search Console zit kun je links in het menu naar “Instellingen” gaan, daarna naar “Crawlstatistieken”. Bij “Crawlstatistieken” zit je onderstaand overzicht.
Wat Google zegt over alle metrics:
Totaal aantal crawlverzoeken: Het totale aantal crawlverzoeken aan je site, gedurende de weergegeven periode. Dubbele verzoeken aan dezelfde URL worden meegeteld.
Totale downloadgrootte: De totale grootte van alle bestanden en bronnen die tijdens het crawlen zijn gedownload, gedurende de weergegeven periode. Als een bron al tijdens een eerdere crawl in het cachegeheugen is opgeslagen, wordt deze niet meegeteld. Het weergegeven aantal bytes omvat de bestands-html, bijbehorende afbeeldingsbytes, scriptbestanden en css-bestanden.
Gemiddelde reactietijd (ms): Gemiddelde paginareactietijd voor een crawlverzoek om de paginacontent op te halen. Omvat niet de tijd voor het ophalen van paginabronnen (scripts, afbeeldingen en andere gekoppelde of ingesloten content) of de tijd voor het renderen van de pagina.
Soorten crawls
De soorten crawls variëren van elkaar en kunnen ook weer verschillend worden geïnterpreteerd:
- Per reactie (statuscodes)
- Per bestandstype
- Per doel
- Per Googlebot-type
Mijn advies
Er zijn een aantal zaken die je kunt veranderen om zo de crawl budget te verbeteren. Ik raad in de eerste plaats aan je website versnellen: dit maakt jouw website interessanter voor de zoekmachine en daarnaast is het ook voor de gebruiker beter. De website versnellen is mogelijk op diverse manieren; onder andere door het gebruik van de juiste afbeeldingen die niet te veel laadtijd hebben.
Zorg ook voor meer relevante inkomende links: linkbuilding met betrouwbare partijen zorgt hiervoor en biedt dan ook betere resultaten op het gebied van je crawl budget.
Veelgestelde vragen
Wat is een Crawl budget?
Het crawl budget geeft het aantal pagina’s aan dat een zoekmachine per dag op jouw website indexeren op de inhoud ervan. Elke website heeft een eigen crawl budget. Het scannen gebeurt door bots en op basis van de resultaten bepaald de zoekmachine de relevantie van jouw site.
Wat is de impact van Crawl Budget op SEO?
Je kunt stellen dat hoe hoger het crawl budget is des te beter. Je wordt dan regelmatig gescand en zo blijf je relevant voor de zoekmachine en ben je dus ook goed te vinden.
