Robots.txt

Robots.txt is een bestandje die in de hoofdmap van een website, ofwel de root, te vinden is. Een robots.txt heeft meerdere functies, bijvoorbeeld het aan crawlers van een zoekmachine vertellen welke website of webpagina zij wel of niet mogen doorzoeken. Dit is ook van belang bij het hoger in Google komen.

Wat is de robots.txt?

Een robots.txt bestand is een tekstbestandje dat publiekelijk toegankelijk is. Het is een zeer belangrijk bestandje, want het vertelt aan een zoekmachine precies welk gedeelte van een website een zoekmachine crawler wel en niet mag indexeren. Hierdoor kunnen de prestaties van de website flink beïnvloed worden.

Het is voor zoekmachine optimalisatie (een SEO-campagne bijvoorbeeld) een erg krachtige en ook technische tool. Is er geen robots.txt op de webserver geplaatst? Dan kan een zoekmachine de hele website doorzoeken.

Voorbeelden van robots.txt

Het is erg belangrijk om te weten dat een robots.txt een pagina niet verwijderd die al geïndexeerd is. Het zal alleen voorkomen dat een pagina geïndexeerd wordt door de crawlers van een zoekmachine. Als een pagina dus al een tijdje online staat voordat er een robots.txt bestand is toegevoegd, dan zal deze nog in de database van de zoekmachine opgeslagen blijven.

Het belang van robots.txt

Als een crawler van een zoekmachine een bepaalde website bezoekt zal het altijd eerst het robots.txt bestand checken. Eigenlijk is robots.txt onderdeel van de Robots Exclusion Protocol (REP). Dit protocol reguleert hoe robots het web mogen indexeren en crawlen. Dit is handig als je bijvoorbeeld wilt dat een zoekmachine geen dubbele pagina’s gaat indexeren.

De impact van robots.txt

Het robots.txt bestand bestaat al sinds 1994 en is ontworpen door de Nederlander Martijn Koster. Zijn website werd door een zoekmachine in het kwade licht gezet. Het doel van robots.txt is dan ook om meer controle te krijgen over jouw ranking en SEO. Erg belangrijk dus als jij wilt dat jouw website goed zal scoren.

Mijn advies

Voor iedereen die bezig met een SEO-consultant voor de website is het handig om te weten wat robots.txt precies inhoudt en waar het allemaal voor gebruikt wordt. Als je op jouw website geen robots.txt geplaatst hebt zullen de zoekmachines de complete website crawlen, wat jij misschien liever wilt voorkomen.

Freelance SEO specialist

De laatste update van dit artikel vond plaats op 15 november 2022. De inhoud van deze pagina is geschreven en goedgekeurd door Ralf van Veen.

Ik werk sinds 8 jaar als zelfstandig SEO-specialist voor bedrijven (in Nederland en het buitenland) die op een duurzame wijze hoger in Google willen komen. In deze periode heb ik A-merken geconsulteerd, grootschalige internationale SEO-campagnes opgezet en wereldwijd opererende development teams gecoacht op het gebied van zoekmachine optimalisatie.

Met deze brede ervaring binnen SEO heb ik de SEO-cursus ontwikkeld en honderden bedrijven op een duurzame en transparante wijze geholpen met een verbeterde vindbaarheid in Google. Hiervoor kun je mijn portfolio, referenties en samenwerkingen raadplegen.

Samenwerken met
een SEO-specialist?

SEO-specialist SEO-specialist

Op eigen tempo een
SEO-cursus volgen?

SEO-cursus SEO-cursus

Bekijk hier de andere steden

SEO-specialist voor de provincies