Robots Exclusion Standard
Senior SEO-specialist
Een website of pagina zo hoog mogelijk in de zoekmachines te laten ranken zonder dat dit invloed heeft op de serverruimte van je website? Dit is mogelijk met Robot Exclusion Standard. Wat is Robots Exclusion Standard en welke invloed heeft dit op de SEO? Op deze pagina leggen we dit aan je uit.
Wat is Robots Exclusion Standard?
Robot Exclusion Standard is een protocol waarmee het mogelijk is om een website af te schermen van zoekrobots van een zoekmachine. Op deze manier ben je in staat om een website, of delen hiervan, niet op te laten nemen in de zoekresultaten van de zoekmachine.
De werking van Robots Exclusion Standard in de praktijk
Een zoekmachine maakt gebruikt van zogenaamde bots, ook wel webcrawlers genoemd, die het internet afspeuren en websites indexeren. Het kopiëren van informatie van een website om deze te plaatsen in de zoekmachines gebeurt zorgt ervoor dat je als website wellicht hoger in de ranking komt te staan. Dit is echter van verschillende zaken afhankelijk, zoals de snelheid van de website en de content op de website.
Het is mogelijk de Robot Exclusion Standard in te stellen wanneer je bots de toegang tot bepaalde mappen wilt ontzeggen.
De impact van Robots Exclusion Standard op de SEO
De Robot Exclusion Standard heeft mogelijk impact op de SEO van een website of pagina. Wanneer je dit protocol op de juiste manier instelt, is het mogelijk om irrelevante pagina’s uit te sluiten, waardoor een robot nieuwe pagina’s sneller en beter indexeert. Dit heeft als voordeel dat deze pagina’s hoger in de ranking komen te staan. Het is wel belangrijk om de juiste SEO tools te hanteren, zodat deze pagina’s ook daadwerkelijk relevant zijn voor de zoekresultaten.
Mijn advies
De Robot Exclusion Standard is voornamelijk bedoeld om irrelevante gegevens voor bezoekers niet te weergeven in de zoekresultaten. Het is daarnaast ook niet bewezen dat het instellen van dit protocol ook daadwerkelijk helpt, aangezien de bots ook geavanceerd zijn en in sommige gevallen dit protocol negeren.
We raden aan om Robot Exclusion Standard in te stellen om zo de servers van je website minder te laten belasten door webcrawlers. Daarnaast is het ook goed voor je crawl budget en levert het SEO voordelen op.
Veelgestelde vragen
Wat is de Robots Exclusion Standard?
Robots Exclusion Standard is een manier om websites (gedeeltelijk) af te schermen van de robots van Google. Dit wordt gedaan door gebruik te maken van het Robots.txt bestand. Dit bestand kan worden bewerkt en hierin kunnen bepaalde pagina’s (of een hele website) worden opgenomen. Let op: dit verschilt met het gebruikmaken van een noindex tag. Een noindex tag voorkomt indexering, de Robots.txt voorkomt crawling én indexering van de website.
Wat is de impact van Robots Exclusion Standard op SEO?
Als je het protocol op juiste wijze instelt, kunnen irrelevante pagina’s worden uitgesloten. Hierdoor kunnen bots pagina’s beter en sneller indexeren. Dit levert voor deze pagina’s weer een hogere ranking in de zoekresultaten op.
