Alle manieren om een pagina uit te sluiten in Google
Senior SEO-specialist
Zowel meta tags als X-Robots-Tag zijn cruciaal om te bepalen hoe zoekmachines omgaan met de content op een website. Op het eerste gezicht lijken beide tools vergelijkbaar, maar er zit verschil in toepassing, flexibiliteit en bereik.
Het begrijpen van de verschillen tussen beide tools draagt bij aan een effectievere SEO-strategie, vooral wat betreft het beheren van de zichtbaarheid van een website in zoekmachines.
Delen van een website uitsluiten
Er zijn verschillende opties om specifieke delen van een website af te schermen van zoekmachines. Welke optie je moet gebruiken, is afhankelijk van de specifieke behoeften en aard van de inhoud die je wilt verbergen.
Robots.txt file
De robots.txt file is een bestand dat je in de root directory van een website plaatst. Het geeft zoekmachines instructies over welke delen van een website deze wel of niet mogen crawlen.
Hoewel het een sterke tool is, heeft het ook zijn beperkingen. De tool biedt geen garantie dat de uitgesloten inhoud niet geïndexeerd wordt. Het uitsluiten is eerder een verzoek dan een verbod om de uitgesloten content te tonen. Robots.txt file is vooral nuttig om grote secties van een website of bepaalde bestandstypen uit te sluiten.
Robots meta tag
De robots meta tag geeft meer granulaire controle op paginaniveau. Plaats de tag in de <head> sectie van de HTML en geef specifiek aan of een pagina geïndexeerd of gevolgd moet worden. Deze tool is vooral bruikbaar voor pagina’s met tijdelijke promoties of interne zoekresultaten die niet in de zoekmachine resultaten mogen verschijnen.
X-Robots-Tag HTTP header
X-Robots-Tag HTTP header is vergelijkbaar met de robots meta tag, maar dan op serverniveau. Deze tag kan niet worden toegepast op niet-HTML-bestanden als PDF’s of afbeeldingen. De tools is vooral bruikbaar in het geval van technische controle over de server en bij instructies die verder gaan dan wat binnen de mogelijkheden van HTML ligt.
Verwijdering aanvragen via de Google Search Console
In het geval de pagina’s sneller uit Google’s index moeten worden verwijderd dan een normaal crawl proces zou toelaten, is het mogelijk een verwijderingsverzoek in te dienen via Google’s Search Console. Dit zorgt ervoor dat de pagina direct uit de zoekresultaten verdwijnt. Het vervangt echter niet de noodzaak voor een permanente methode als een noindex tag.
Praktische gids voor het gebruik van noindex
Noindex is een belangrijk onderdeel in het SEO-stappenplan, mits het zorgvuldig en strategisch wordt gebruikt.
De invloed van noindex op de zichtbaarheid van een pagina
De noindex tag vertelt zoekmachines expliciet om een pagina niet in de index op te nemen. De pagina zal dus niet verschijnen in de zoekresultaten. Bepaalde pagina’s – denk aan tijdelijke content, duplicate pagina’s of privé-inhoud – worden niet weergegeven.
Noindex tags voorkomen echter niet dat de pagina wordt gecraweld of links op de pagina’s worden gevolgd. Dit kan alleen bij het gebruik van “nofollow”.
De implementatie van noindex
- Kies de juiste pagina’s: identificeer welke pagina’s je niet in de zoekresultaten wilt hebben, denk aan duplicate pagina’s, privé pagina’s of pagina’s met een tijdelijke of dunne inhoud.
- Voeg de noindex tag toe: zet de <meta name=”robots” content=”noindex”> tag in de <head> sectie van de HTML van de betreffende pagina’s.
- Verifieer de implementatie: maak gebruik van tools als Google’s Search Console on te controleren of de tag correct is geïmplementeerd en of zoekmachines deze herkennen.
- Monitor de impact: monitor de index status van pagina’s. Soms duurt het even voordat de zoekmachines op de noindex tag reageren, dus monitor regelmatig om constant een goed beeld te krijgen.
- Update waar nodig: verwijder de noindex als een pagina weer zichtbaar moet zijn.
Pagina’s verwijderen via Google’s URL Removal Tool
In sommige gevallen is het uitsluiten van pagina’s zoekmachines niet voldoende. Bijvoorbeeld als gevoelige informatie moet worden verwijderd en een pagina die per ongeluk geïndexeerd is zo snel mogelijk uit de zoekresultaten moet worden gehaald. Gebruik in dit geval de URL Removal Tool van Google. Deze tool kan URL’s tijdelijk uit de zoekresultaten van Google verwijderen.
Let op: dit is slechts een tijdelijke oplossing. Noindex tags zijn nog steeds noodzakelijk voor een permanente verwijdering of om de inhoud van een site te verwijderen.
URL Removal Tool voor snelle actie
De URL Removal Tool is ideaal voor snelle actie. Gebruik de tool via de Google Search Console. Voer hiervoor de URL in die uit de zoekresultaten moet worden gehaald. Deze verwijdering duurt ongeveer zes maanden.
Na die zes maanden kan de pagina weer in de zoekresultaten verschijnen. Voorkom dit door bijvoorbeeld een noindex-tag te plaatsen of een pagina permanent te verwijderen.
Langdurige of permanente verwijdering
Voor een langdurige of permanente verwijdering van een pagina uit de zoekresultaten is de URL Removal Tool niet voldoende. Verwijder zelf de content of voeg een noindex-tag toe.
Zorg ervoor dat de server een statuscode 404 (niet gevonden) of 410 (permanent verwijderd) teruggeeft. Deze codes vertellen zoekmachines dat de pagina niet meer bestaat en dat de pagina na verloop van tijd uit de index kan worden verwijderd.
Alle mogelijkheden op een rijtje
Onderstaande tabel zet verschillende mogelijkheden van zowel Meta-tags als X-Robots-Tag uiteen.
| Mogelijkheid | Meta Tags | X-Robots-Tag |
|---|---|---|
| Locatie | In de <head> sectie van een HTML-pagina. | In de HTTP-response header, server-side. |
| Toepassingsgebied | Alleen op de specifieke pagina waar ze zijn geplaatst. | Op elk type HTTP-response, inclusief niet-HTML bestanden. |
| Flexibiliteit | Moet handmatig worden toegevoegd aan elke pagina. | Flexibeler, kan server-breed worden toegepast. |
| Gebruik voor HTML-pagina’s | Instructies voor indexeren en volgen van links. | Dezelfde mogelijkheden als meta tags, maar dan server-side. |
| Gebruik voor andere bestanden | Niet van toepassing. | Kan worden gebruikt voor afbeeldingen, PDF’s en andere media. |
| Complexiteit van instructies | Beperkt tot basisinstructies per pagina. | Mogelijkheid voor complexere instructies en condities. |
| Voorbeeld | <meta name="robots" content="noindex, nofollow"> | Header set X-Robots-Tag "noindex, noarchive, nosnippet" |
Deze tabel laat zien dat de X-Robots-Tag meer flexibiliteit en uitgebreidere toepassingsmogelijkheden heeft, vooral voor niet-HTML-content en complexere scenario’s.
Veelgemaakte fouten
Vermijd veelgemaakte fouten bij het uitsluiten van pagina’s van indexering. Het onjuist gebruiken van robots.txt, X-Robots-Tag en Meta-tags kan negatieve resultaten opleveren. Zo kunnen pagina’s nog steeds in zoekresultaten op de SEO-positie op een negatieve manier beïnvloeden.
Valkuilen Robots.txt
Vaak wordt aangenomen dat het blokkeren van een pagina in robots.txt betekent dat een pagina niet wordt geïndexeerd. Dit is een veelgemaakte fout. Robots.txt voorkomt dat de zoekmachines de inhoud van een pagina crawlen, maar de pagina kan nog steeds in de index verschijnen als deze elders wordt gelinkt.
Indexering kan worden voorkomen door noindex in een robots meta tag of X-Robots-Tag te gebruiken.
Ook in het gebruik van mete tags en de X-Robots-tag zijn er veel terugkerende misverstanden. Belangrijk is om te begrijpen dat deze tags instructies geven aan zoekmachines over indexering en link volging.
In het geval van een verkeerde configuratie kan een ongewenste indexering plaatsvinden of worden pagina’s uitgesloten die juist wel geïndexeerd moeten worden. Test de implementatie altijd van tevoren om SEO-problemen te voorkomen.
Meta-tags en X-Robot-Tag worden beide gebruikt om instructies te geven aan zoekmachines over hoe deze bepaalde content op een website moeten behandelen. De functies zijn vergelijkbaar, maar de tools verschillen in hun toepassing en flexibiliteit.
- Meta tags:
- Locatie: Meta-tags worden meteen in de HTML van een individuele webpagina geplaatst, meestal in de <head> sectie.
- Toepassingsgebied: Meta-tags zijn alleen van toepassing op de specifieke pagina waarop ze zijn geplaatst.
- Flexibiliteit: Meta-tags beperkte flexibiliteit, omdat ze handmatig moeten worden toegepast aan alle gewenste pagina’s.
- Gebruik: Meta-tags geven onder andere aan hoe zoekmachines een pagina moeten indexeren (bijvoorbeeld met noindex, nofollow).
- Voorbeeld: <meta name=”robots” content=”noindex, nofollow”>
- X-Robots-Tag:
- Locatie: X-Robots-Tag is een HTTP-header en wordt verzonden in de HTTP-response van de server.
- Toepassingsgebied: X-Robots-Tag kan worden toegepast op elk type HTTP-response. Dit geldt niet alleen voor HTML-pagina’s, maar ook voor media als afbeeldingen of PDF-bestanden.
- Flexibiliteit: X-Robots-Tag is flexibeler en krachtiger dan meta tags, vooral als het gaat om het beheren van crawl instructies voor niet-HTML-bestanden.
- Gebruik: complexere instructies gebruik je door X-Robots-Tag te gebruiken – denk aan het combineren van verschillende richtlijnen voor verschillende zoekmachines of het toepassen van regels op basis van bepaalde criteria.
- Voorbeeld: in een serverconfiguratie is het mogelijk om een regel toe te voegen als Header set X-Robots-Tag “noindex, noarchive, nosnippet”.
Meta-tags beperken zich dus tot het geven van instructies aan zoekmachines op paginaniveau binnen de HTML-code, terwijl de X-Robot-Tag een meer veelzijdige en krachtige manier biedt om crawl instructies te beheren. Deze manier is toepasbaar op een breed scala van contenttypen en via server configuraties.
Uitsluitstrategieën afstemmen op SEO-doelen
Bij het bepalen van uitsluitstrategieën in de SEO-doelen is het belangrijk om te weten wat de website moet bereiken. Bedenk welke onderdelen helpen om de SEO te verbeteren en welke niet. Uitsluitstrategieën zijn er niet alleen op gericht op de content te verbergen maar ook om zoekmachines te helpen zich te concentreren op de content die echt belangrijk is. Denk dus strategisch na over het gebruik van tools als robots.txt, X-Robots-Tag en noindex tags.
Het uitsluiten van inhoud die niet bijdraagt aan een betere SEO – denk aan dubbele pagina’s of interne zoekresultaten – kan bijdragen aan relevantere en zichtbaardere content van een hogere kwaliteit.
De balans tussen zichtbaarheid en privacy
Hoewel zichtbaarheid essentieel is om verkeer aan te trekken, is niet alle inhoud bedoeld voor openbare weergave. Uit privacyoverwegingen kan het noodzakelijk zijn om sommige delen van een website te verbergen, waaronder gebruikersspecifieke informatie of interne data.
Belangrijk is het vinden van een goede balans. De content moet waardevol zijn voor indexering en om hoger in Google te komen, maar gevoelige informatie moet ook worden afgeschermd. Zorg dat aan beide onderdelen goed voldaan wordt.
Samengevat
Meta-tags en X-Robots-Tag zijn beide essentieel voor het beheer van de manier waarop zoekmachines de content van een website behandelen. Wel zijn er verschillen.
Meta-tags zijn vooral geschikt om basisinstructies op individuele HTML-pagina’s toe te passen, terwijl de X-Robots-Tag een flexibelere en krachtigere oplossing biedt voor een uitgebreider scala aan contenttypen en complexere scenario’s. Dit helpt de zichtbaarheid en indexering van een website nauwkeuriger te sturen en zorgt voor een meer doelgericht SEO-stappenplan.
