Robots.txt

Robots.txt is een bestandje die in de hoofdmap van een website, ofwel de root, te vinden is. Een robots.txt heeft meerdere functies, bijvoorbeeld het aan crawlers van een zoekmachine vertellen welke website of webpagina zij wel of niet mogen doorzoeken. Dit is ook van belang bij het hoger in Google komen.

Wat is de robots.txt?

Een robots.txt bestand is een tekstbestandje dat publiekelijk toegankelijk is. Het is een zeer belangrijk bestandje, want het vertelt aan een zoekmachine precies welk gedeelte van een website een zoekmachine crawler wel en niet mag indexeren. Hierdoor kunnen de prestaties van de website flink beïnvloed worden.

Het is voor zoekmachine optimalisatie (een SEO-campagne bijvoorbeeld) een erg krachtige en ook technische tool. Is er geen robots.txt op de webserver geplaatst? Dan kan een zoekmachine de hele website doorzoeken.

Voorbeelden van robots.txt

Het is erg belangrijk om te weten dat een robots.txt een pagina niet verwijderd die al geïndexeerd is. Het zal alleen voorkomen dat een pagina geïndexeerd wordt door de crawlers van een zoekmachine. Als een pagina dus al een tijdje online staat voordat er een robots.txt bestand is toegevoegd, dan zal deze nog in de database van de zoekmachine opgeslagen blijven.

Het belang van robots.txt

Als een crawler van een zoekmachine een bepaalde website bezoekt zal het altijd eerst het robots.txt bestand checken. Eigenlijk is robots.txt onderdeel van de Robots Exclusion Protocol (REP). Dit protocol reguleert hoe robots het web mogen indexeren en crawlen. Dit is handig als je bijvoorbeeld wilt dat een zoekmachine geen dubbele pagina’s gaat indexeren.

De impact van robots.txt

Het robots.txt bestand bestaat al sinds 1994 en is ontworpen door de Nederlander Martijn Koster. Zijn website werd door een zoekmachine in het kwade licht gezet. Het doel van robots.txt is dan ook om meer controle te krijgen over jouw ranking en SEO. Erg belangrijk dus als jij wilt dat jouw website goed zal scoren.

Mijn advies

Voor iedereen die bezig met een SEO-consultant voor de website is het handig om te weten wat robots.txt precies inhoudt en waar het allemaal voor gebruikt wordt. Als je op jouw website geen robots.txt geplaatst hebt zullen de zoekmachines de complete website crawlen, wat jij misschien liever wilt voorkomen.