Het uitvoeren van een log file analyse voor SEO

Log file in de context van SEO betekent het grondig doorlichten van server logs om te zien hoe zoekmachines een site crawlen. De data die hieruit komen, geven inzichten in de manier waarop zoekmachine-bots met een websites omgaan, zodat SEO-experts hun strategieën aanpassen om een hoger zoekresultaat te verkrijgen en beter zichtbaar te worden voor bezoekers.

Log files verzamelen

Log files fungeren als een gedetailleerd dagboek voor de server. Ze registeren elke actie die op de website plaatsvindt. Het doel is om duidelijk en precies inzicht te geven in welke pagina’s zoekmachines bezoeken en in welke frequentie. Ook de eventuele problemen die zoekmachines tegenkomen, worden vastgelegd.

Log files bieden inzicht in de interactie tussen een website en de bezoekers. Dit kunnen zowel mensen als bots zijn. Je kunt de bezochte URL’s, IP-adressen, statuscodes en de exacte tijdstippen van het bezoek zien. Aan de hand van deze gegevens kun je het gedrag van zoekmachines analyseren en een gericht SEO-stappenplan bedenken.

Log files verzamelen

Verzamel de log files voor een completer overzicht. Door in te loggen op de webserver of een Content Delivery Network (CDN) kunnen log files worden verzameld en worden geëxporteerd. Regelmatige back-ups zijn noodzakelijk om later historische data in te kunnen zien en trends over de jaren te kunnen analyseren. Verzamel log files via onderstaand stappenplan:

1. Kies welke log files nodig zijn. Focus hierbij op de webserver log files, die zoekmachine crawlers registreert.
2. Vraag om toegang. Via FTP, cPanel of een directe verbinding met de hostingprovider kun je toegang tot de server van de website verkrijgen.
3. Identificeer de locatie van de log file. Het is belangrijk om te weten waar de log files opgeslagen worden. Vaak gebeurt dit in de logs directory.
4. Exporteer log files. Download log files en exporteer ze naar het lokale systeem. Gebruik hiervoor .txt- of .log-bestanden.
5. Opslaan. Sla de gedownloade log files altijd goed op en bewaar overzicht door verschillende mappen te creëren.
6. Automatiseer het proces. Om constant toegang tot de recente data te kunnen verkrijgen, is het goed om het verzamelproces via scripts of de hostingprovider te automatiseren.

Te gebruiken tools

Voor het analyseren van log files bestaan verschillende tools, van simpele tekstverwerkers tot gespecialiseerde software voor diepe analyses. Onder de laatste categorie vallen Screaming Frog Log File Analyser of Semrush. De tools filteren en visualiseren in een hoog tempo grote hoeveelheden aan data en bieden inzicht in de werking van de site, wat helpt om de SEO te verbeteren.

Je kan ook direct naar de website van de hostingprovider gaan, maar dat is net wat ingewikkelder. Verder krijg je op deze manier inzicht in de echte data. Een voorbeeld van een hostingprovider is TransIP.

Welke inzichten geven log files?

Log files laten zien hoe gezond een server is en of deze goed functioneert. Log files geven ook inzicht in eventuele fouten die een effect op de prestaties kunnen hebben. Als de log files fouten tegenkomen, worden deze direct aangepakt. Voorbeelden van fouten zijn langzame reactietijden of serverfouten. De Google Search Console kan gedeeltelijk helpen bij het opsporen en aanpakken van fouten.

Log files tonen niet alleen de gegevens van Google Bot, maar ook die van andere user-agents en bezoekers. Sommige SEO-specialisten zetten om tijd te besparen altijd Google Search Console in.

Crawl issues identificeren met log files

Bij het bestuderen van log files kun je ook crawl issues identificeren. Let op foutcodes als code 500 (serverfout) of code 404 (niet gevonden) en houd in de gaten of er geen pagina’s worden overgeslagen. Zo herken je technische problemen die anders over het hoofd worden gezien.

Het bestuderen hoef je echter niet zelf te doen. Hier zijn handige tools voor, zoals Screaming Frog. De tools werken over het algemeen sneller en nauwkeuriger.

Verband log files en zoekmachine crawlers

Log files helpen bij het geven van inzicht in de manier waarop zoekmachine crawlers op een website navigeren. Ze laten zien welke pagina’s het vaakst worden bezocht en wat de precieze frequentie is. Dit is waardevolle informatie om te bepalen welke aspecten van de site worden gewaardeerd door zoekmachines en welke wat meer aandacht nodig hebben. Bepaal aan de hand van deze informatie hoe je de inhoud beter afstemt op crawlers en kom zo hoger in Google met je website.

Crawl budget optimaliseren

Log files laten ook zien hoe het crawl budget wordt besteed en of deze niet onnodig dubbel gebruikt worden. Gebruik deze gegevens bij het structureren van de site en pas het robots.txt-bestand aan om het crawlen maximaal te optimaliseren. Dit past bij een optimaal SEO-pakket.

Log files registreren elke actie van de crawlers en geven inzicht in welke pagina’s worden geïndexeerd en de frequentie hiervan. Deze informatie geeft aan of de crawlers naar de juiste content leiden of niet en of er eventuele wijzigingen in de contentstrategie moeten plaatsvinden.

Is Google Search Console een goed alternatief?

In plaats van zelf de log files te analyseren, kan Google Search Console hierbij helpen. Google Search Files toont hoe alle bots met de site omgaan en identificeert fouten in het crawlen. Dit kost minder tijd dan het zelf analyseren van log files en is daardoor ook goedkoper. Bovendien verbetert het de indexatie van de website.

Veelgemaakte fouten bij log file analyse

Bij het gebruik van log file analyse worden sporadische fouten regelmatig over het hoofd gezien. De impact lijkt laag, maar op lange termijn hebben deze fouten wel een negatieve invloed. Het gaat hier niet alleen om grote fouten, maar ook om kleine onregelmatigheden. Deze leiden in de toekomst tot grotere problemen. Bovendien zeggen cijfers alleen niet voldoende, maar is ook de context ervan belangrijk. Dit zijn de meest gemaakte fouten bij log file analyse:

1. Verouderde logbestanden. Het is belangrijk om de log files altijd up-to-date te houden. Verouderde log files kunnen misleidende informatie verlenen over de huidige staat van de website.
2. Focussen op één aspect. Alleen naar HTTP-statuscodes kijken is niet voldoende om een goed beeld te krijgen van de gezondheid van een website. Let ook op laadtijden, de frequentie van het crawlen en het craw lbudget.
3. Geen overzicht houden. Let er wel op dat je niet te veel op details let, om het overzicht niet te verliezen. Sla de gevonden informatie ook altijd gestructureerd op in overzichtelijke mappen.
4. Niet naar de context kijken. Door alleen naar cijfers te kijken, worden gegevens verkeerd geïnterpreteerd, waardoor SEO-specialisten soms verkeerd handelen. Kijk daarom altijd goed naar de context om het geheel duidelijk op een rijtje te hebben.

Samengevat

Het gebruiken van log file analyse op een efficiënte manier, biedt een hoop voordelen voor SEO-optimalisatie. Experts kunnen problemen vroegtijdig signaleren, de website beter afstemmen op de eisen van zoekmachines en het crawl budget optimaliseren.