Robots Exclusion Standard

Een website of pagina zo hoog mogelijk in de zoekmachines te laten ranken zonder dat dit invloed heeft op de serverruimte van je website? Dit is mogelijk met Robot Exclusion Standard. Wat is Robots Exclusion Standard en welke invloed heeft dit op de SEO? Op deze pagina leggen we dit aan je uit.

Wat is Robots Exclusion Standard?

Robot Exclusion Standard is een protocol waarmee het mogelijk is om een website af te schermen van zoekrobots van een zoekmachine. Op deze manier ben je in staat om een website, of delen hiervan, niet op te laten nemen in de zoekresultaten van de zoekmachine.

De werking van Robots Exclusion Standard in de praktijk

Een zoekmachine maakt gebruikt van zogenaamde bots, ook wel webcrawlers genoemd, die het internet afspeuren en websites indexeren. Het kopiëren van informatie van een website om deze te plaatsen in de zoekmachines gebeurt zorgt ervoor dat je als website wellicht hoger in de ranking komt te staan. Dit is echter van verschillende zaken afhankelijk, zoals de snelheid van de website en de content op de website.

Het is mogelijk de Robot Exclusion Standard in te stellen wanneer je bots de toegang tot bepaalde mappen wilt ontzeggen.

Robots Exclusion Standard _ Begrippenlijst

De impact van Robots Exclusion Standard op de SEO

De Robot Exclusion Standard heeft mogelijk impact op de SEO van een website of pagina. Wanneer je dit protocol op de juiste manier instelt, is het mogelijk om irrelevante pagina’s uit te sluiten, waardoor een robot nieuwe pagina’s sneller en beter indexeert. Dit heeft als voordeel dat deze pagina’s hoger in de ranking komen te staan. Het is wel belangrijk om de juiste SEO tools te hanteren, zodat deze pagina’s ook daadwerkelijk relevant zijn voor de zoekresultaten. 

Mijn advies

De Robot Exclusion Standard is voornamelijk bedoeld om irrelevante gegevens voor bezoekers niet te weergeven in de zoekresultaten. Het is daarnaast ook niet bewezen dat het instellen van dit protocol ook daadwerkelijk helpt, aangezien de bots ook geavanceerd zijn en in sommige gevallen dit protocol negeren.

We raden aan om Robot Exclusion Standard in te stellen om zo de servers van je website minder te laten belasten door webcrawlers. Daarnaast is het ook goed voor je crawl budget en levert het SEO voordelen op.


Veelgestelde vragen

Wat is de Robots Exclusion Standard?

Robots Exclusion Standard is een manier om websites (gedeeltelijk) af te schermen van de robots van Google. Dit wordt gedaan door gebruik te maken van het Robots.txt bestand. Dit bestand kan worden bewerkt en hierin kunnen bepaalde pagina’s (of een hele website) worden opgenomen. Let op: dit verschilt met het gebruikmaken van een noindex tag. Een noindex tag voorkomt indexering, de Robots.txt voorkomt crawling én indexering van de website.

Wat is de impact van Robots Exclusion Standard op SEO?

Als je het protocol op juiste wijze instelt, kunnen irrelevante pagina’s worden uitgesloten. Hierdoor kunnen bots pagina’s beter en sneller indexeren. Dit levert voor deze pagina’s weer een hogere ranking in de zoekresultaten op.

Senior SEO-specialist

Ralf van Veen

Senior SEO-specialist
Five stars
Ik krijg een 5.0 op Google uit 76 beoordelingen

Ik werk sinds 10 jaar als zelfstandig SEO-specialist voor bedrijven (in Nederland en het buitenland) die op een duurzame wijze hoger in Google willen komen. In deze periode heb ik A-merken geconsulteerd, grootschalige internationale SEO-campagnes opgezet en wereldwijd opererende development teams gecoacht op het gebied van zoekmachine optimalisatie.

Met deze brede ervaring binnen SEO heb ik de SEO-cursus ontwikkeld en honderden bedrijven op een duurzame en transparante wijze geholpen met een verbeterde vindbaarheid in Google. Hiervoor kun je mijn portfolio, referenties en samenwerkingen raadplegen.

Dit artikel is oorspronkelijk gepubliceerd op 15 september 2023. De laatste update van dit artikel vond plaats op 10 januari 2024. De inhoud van deze pagina is geschreven en goedgekeurd door Ralf van Veen. Leer meer over de totstandkoming van mijn artikelen in mijn redactionele richtlijnen.