Indexeren sectie van de Google Search Console: Hoe gebruik ik dit?

De indexeren sectie van de Google Search Console wordt gebruikt voor de (je raadt het al) indexering van je website. In dit overzicht kun je als organisatie inzien wat de voortgang is van de indexering van een website en de mogelijke redenen waarom dit wel of niet goed gaat. In dit artikel ga ik dieper in op de mogelijkheden in deze sectie en hoe ik deze sectie gebruik voor de technische optimalisatie van websites. (1)

De indexeren sectie uiteengezet

Zonder meteen te diep erop in te duiken, hier zie je de gegevens van RalfvanVeen.com uit de indexeren sectie van de Google Search Console. In dit artikel bespreek ik de secties die ik zelf het meest gebruik; pagina’s, sitemaps en verwijderingen. Ik zal er per onderdeel dieper op ingaan. (2)

Overzicht: pagina’s

Bevat 2 onderdelen: redenen voor het niet indexeren van pagina’s en de voortgang van de indexering van pagina’s. Belangrijk om te weten bij deze onderdelen is dat Google vaak achterloopt in de crawling van deze pagina’s. Hoe minder crawl budget je hebt als website, hoe verder Google zal achterlopen hiermee.

Wat interessant is om op te merken is dat gevonden – momenteel niet geïndexeerd en gecrawld – momenteel niet geïndexeerd naar alle waarschijnlijkheid de crawl queue van Google is (eigen interpretatie hiervan).

1. Pagina met omleiding – Dit geeft aan dat de URL is omgeleid naar een andere URL. Google kan kiezen om de doel-URL te indexeren in plaats van de omgeleide URL. Let op, dit hoeft geen probleem te zijn. Het is logisch dat een 301 of 302 statuscode niet wordt geïndexeerd (het is immers geen statische HTML-pagina meer).
2. Alternatieve pagina met correcte canonieke tag – Dit duidt op het bestaan van een andere pagina die Google als de voorkeursversie (canoniek) beschouwt. De niet-geïndexeerde pagina heeft een ‘canonical’ tag die verwijst naar de voorkeursversie die Google zou moeten indexeren. Dit duidt in de praktijk wel vaak op bepaalde problematiek.
3. Niet gevonden (404) – De server retourneert een 404-statuscode, wat betekent dat de pagina niet gevonden kan worden. Deze pagina’s worden niet geïndexeerd omdat Google denkt dat ze niet bestaan.
4. Gecrawld – momenteel niet geïndexeerd – Google heeft de pagina gecrawld, maar heeft besloten deze (nog) niet op te nemen in de index. Dit kan tijdelijk zijn of het gevolg van kwaliteitsproblemen met de pagina.
5. Dubbele pagina, Google heeft een andere canonieke pagina gekozen dan de gebruiker – Google heeft geïdentificeerd dat deze pagina duplicaat content bevat en heeft een andere pagina gekozen als de canonieke bron die geïndexeerd moet worden. Dit kan dus een probleem zijn als dit vaker voorkomt op de website.
6. Uitgesloten door tag ‘noindex’ – De pagina bevat een ‘noindex’ instructie in de meta tags of headers, die Google opdraagt deze pagina niet te indexeren.
7. Geblokkeerd door robots.txt – De pagina is geblokkeerd door een regel in het robots.txt-bestand van de site, die crawlers instrueert de pagina niet te crawlen.
8. Geblokkeerd vanwege ander 4xx-probleem – Er is een andere 4xx-clientfout dan een 404, wat kan wijzen op een probleem met de toegang tot de pagina, zoals een 403 Forbidden of 410 Gone.
9. Gevonden – momenteel niet geïndexeerd – Google heeft de pagina gevonden, maar heeft deze om een bepaalde reden nog niet geïndexeerd. Dit kan tijdelijk zijn of afhankelijk van bepaalde factoren zoals de opzet van de site of signalen van pagina kwaliteit.
10. Fout met omleiding – Er is een probleem met de wijze waarop de pagina omleidt, mogelijk vanwege een verkeerd geconfigureerde server of een probleem met de omleidingsketen.

Zoals je kunt zien zijn dit niet allemaal issues. Ongeveer de helft van deze punten zullen uiteindelijk issues zijn waar iets mee kan worden gedaan.

Uit deze gegevens kun je al een algemeen beeld interpreteren van de voortgang van de indexering van de pagina’s. Hieruit kan ik vaak al opmerken of er iets aan de hand is met een website. Belangrijk om te weten: Je zult hier nagenoeg nooit het aantal niet geïndexeerde pagina’s op 0 krijgen. Wat Google hier zelf over zegt:

Deze URL’s zijn niet geïndexeerd door Google. In sommige gevallen kan dit je bedoeling zijn, maar in andere gevallen kan het een fout zijn. Bekijk de problemen in de onderstaande tabel om te bepalen of je deze URL’s moet aanpassen.

Lees verder over de Google Search Console

• Het prestaties rapport van de Google Search Console
• Je site eigendom verifiëren in de Google Search Console
• Functionaliteiten rapport binnen de Google Search Console inzetten
• Dé Google Search Console gids voor 2024
• Wat is de Google Search Console?
• De Google Search Console koppelen met Google Analytics
• Nieuwe gebruiker toevoegen Google Search Console

Sitemaps sectie

In de sitemaps sectie kun je gerichter kijken naar pagina’s, die dus allemaal in je XML-sitemaps zitten die zijn ingediend in de Google Search Console. (3)

Belangrijk om te weten hierbij is dat er twee manieren zijn om een XML-sitemap aan te melden bij de Google Search Console:

1. Robots.txt (je kunt een link plaatsen in de Robots.txt naar de XML-sitemaps van je website).
2. Google Search Console (via bovenstaande afbeelding).

Eén van de twee is genoeg, maar ik doe toch altijd graag allebei om zo expliciet mogelijk te zijn hierin.

Wat interessant is aan de sitemaps sectie is dat het mogelijk is om een stuk gerichter naar de mogelijke issues van bepaalde pagina’s te kijken. Wanneer ik doorklik op één XML-sitemap:

Daarna klik op pagina-indexering bekijken.

Hier kun je weer de voortgang inzien, maar dan heel gericht op de pagina’s van één bepaalde XML-sitemap. Wat het zo interessant maakt is dat je nu veel gerichter bepaalde optimalisaties kunt analyseren en uitvoeren. Daarbij zul je geen “ruis” pagina’s hier vinden, omdat al deze pagina’s in de XML-sitemap staat.

Met deze “ruis” pagina’s bedoel ik bijvoorbeeld parameter URL’s die uit de faceted navigation komen van een webshop. Die worden ook allemaal opgepikt door GoogleBot en in de Google Search Console opgenomen.

Als ik hier bijvoorbeeld klik op gevonden – momenteel niet geïndexeerd..

Dan kom ik uit op een lijst met URL’s die om deze reden niet wordt geïndexeerd. Als ik dan op een specifieke pagina doorklik, kom ik uit op onderstaand overzicht.

Met dit overzicht kan ik in detail inzien waarom een bepaalde pagina niet is geïndexeerd. Zoals te zien is, is er geen verwijzende pagina naar deze specifieke pagina waardoor deze waarschijnlijk niet wordt geïndexeerd. In hetzelfde overzicht kan ik indexering aanvragen. Zo kun je op pagina niveau deze URL’s analyseren.

Overzicht: Verwijderingen

In dit overzicht kun je zoals de naam al doet vermoeden content snel verwijderen uit de zoekresultaten.

Drie grote mogelijkheden.

• Tijdelijke verwijderingen (6 maanden): Dit is als je snel iets wil verwijderen wat je daarna waarschijnlijk permanent gaat verwijderen van de website.
• Verouderde content: Volgens Google werkt deze tool alleen als de content die je uit de zoekresultaten wilt verwijderen al van een website is gehaald.
• Filteren met SafeSearch: Hier wordt alle content weergegeven die als expliciet is aangemerkt door een gebruik in Google in de afgelopen zes maanden. Heb je het gevoel dat dit niet klopt? Dan kun je bezwaar aanmaken. (4)

Conclusie

Dit is vast nog niet eens alles wat mogelijk is in deze sectie van de Google Search Console, maar genoeg voor een eerste artikel hierover. Ik gebruik dit onderdeel vooral voor de interpretatie van het geheel (hoe verloopt de indexering door Google) en daarna de eventueel duik in specifieke problemen op URL niveau. Succes met de optimalisatie!