Crawlen, indexeren en ranken: de betekenissen & verschillen

Als SEO-specialist gebruik ik deze termen dagelijks: crawlen, indexeren en ranken. Crawlen verwijst naar het proces waarbij zoekmachines de content van webpagina’s op het internet verzamelen. Indexeren is het opslaan van deze inhoud in de database van de zoekmachine. Ranken verwijst naar het positioneren van de webpagina in de zoekresultaten van een zoekmachine voor een bepaalde zoekopdracht.

In dit artikel neem ik je mee in de wereld van crawlen, indexeren en ranken en de manieren waarop dit invloed heeft op een volledige SEO-campagne.

Wat is crawlen, indexeren en ranken?

Eerst geef ik een korte uitleg per onderdeel, waarna ik er dieper op inga.

1. Crawling: Tijdens dit proces downloadt Google de tekst, afbeeldingen en video’s van een pagina met geautomatiseerde “programma’s” (crawlers).
2. Indexeren: Google analyseert deze gegevens en slaat dit op in Google (wat eigenlijk een grote database is).
3. Ranken: Wanneer iemand iets zoekt in Google, kan deze zoeker deze data tegenkomen.

Wat is crawlen?

Google ontdekt en houdt een lijst van webpagina’s bij via “URL-discovery,” waarbij het links volgt of sitemaps gebruikt. Een programma genaamd Googlebot crawlt de pagina’s volgens een algoritme, waarbij de snelheid zorgvuldig wordt beheerd om overbelasting van de websites te voorkomen.

Niet alle gevonden pagina’s worden echter gecrawld; sommigen worden geblokkeerd door de site-eigenaar of vereisen inloggen. Tijdens het crawlen rendert Google de pagina en voert JavaScript uit, om ervoor te zorgen dat alle relevante inhoud wordt weergegeven. (1)

1. Googlebot vindt een pagina.
2. Googlebot downloadt de pagina en alle inhoud.
3. Googlebot zet de links naar andere pagina’s in de crawl queue, klaar om door te crawlen.

Wat is indexeren?

Dit onderdeel heet indexeren en omvat het analyseren/begrijpen van tekst, belangrijke tags zoals <title> en alt-attributen, en ook afbeeldingen en video’s.

Tijdens het indexeren kijkt Google of een pagina een duplicaat is of de “echte” versie van dit stuk content. De canonical is de pagina die in zoekresultaten wordt getoond. Google groepeert eerst vergelijkbare pagina’s en selecteert de meest representatieve. Andere pagina’s in de groep kunnen in specifieke situaties worden getoond, bijvoorbeeld voor mobiele gebruikers. (2)

Het proces werkt als volgt:

1. Googlebot vormt een beeld van de gedownloade tekst, afbeeldingen, HTML en CSS.
2. Googlebot voert de gevonden JavaScript uit (dit is een apart proces), dit wordt gerenderde HTML.
3. GoogleBot vormt een volledig beeld van de pagina.
4. Googlebot indexeert de pagina (wanneer dit mogelijk is en Google dit zelf wil).

Wat is ranken?

Dan nu het leukste deel voor veel website eigenaren; het ranken. Wanneer een gebruiker een zoekopdracht invoert, doorzoeken Google’s systemen de index naar overeenkomende pagina’s en geven de resultaten weer die volgens hen de hoogste kwaliteit en relevantie voor de gebruiker hebben.

De relevantie wordt bepaald door honderden factoren, zoals locatie, taal en apparaat (desktop of telefoon). Zo zal de zoekopdracht “bakker” verschillende resultaten opleveren voor gebruikers in Parijs en Hong Kong.

De zoekresultatenpagina verandert ook op basis van de zoekopdracht. Bij het zoeken naar “bakker” verschijnen waarschijnlijk lokale resultaten, terwijl “hoe word ik een bakker” eerder landelijke resultaten toont. (3)

In het kort:

1. Vanuit het onderdeel “processing” maakt Google een besluit (ja/nee) om een pagina te indexeren.
2. Daarna wordt deze geïndexeerd en kan deze pagina ranken in de index.

Hoe beïnvloed ik crawlen, indexeren en ranken met SEO?

Nu je weet wat ieder onderdeel van crawlen, indexeren en ranken inhoudt laat ik zien wat ik doe binnen een SEO-strategie om deze onderdelen te bevorderen.

Wat beïnvloedt de crawling en indexering door Googlebot?

Dit is dus gericht op hoe makkelijk Google overal bij kan op de website. Een aantal onderdelen die hier invloed op hebben:

• website structuur met een silo structuur;
• interne links naar de belangrijkste pagina’s; (4)
• XML en HTML sitemaps; (5)
• Robots.txt optimaliseren (zorg ervoor dat Google overal bij kan); (6)
• canonicals optimaliseren;
• vermijd noindex tags op belangrijke pagina’s;
• vermijd 4xx en 5xx pagina’s;
• vermijd redirect chains en/of onnodige redirects;
• optimaliseer de website voor crawl budget.

Hoe beïnvloed ik het ranken?

Dit begint meer op een regulier SEO-traject te lijken, maar onderdelen die hierbij van belang zijn, als volgt:

• website snelheid;
• website structuur;
• kwalitatieve content (en over de juiste onderwerpen geschreven);
• kwalitatieve interne links;
• een goede mobiele bruikbaarheid (responsive);
• een goede gebruikservaring;
• veel waarde voor mogelijke bezoekers.

Kortom, alle bekende zaken zijn belangrijk hiervoor. Hiervoor heb ik het SEO-stappenplan opgesteld.

Conclusie

In dit artikel heb ik uitgelegd wat crawlen, indexeren en ranken betekenen en en hoe ze van elkaar verschillen. Een “echte” SEO-specialist kent het verschil.. nu jij ook. Succes met de optimalisatie!