Logbestandanalyse uitvoeren met Screaming Frog

Veel SEO-specialisten gebruiken Screaming Frog voor crawls, maar vergeten dat het programma ook uitstekend geschikt is voor logbestandanalyse. Daarmee krijg je inzicht in wat zoekmachines écht crawlen op je site – en wat juist níet. In dit artikel: hoe je logbestanden analyseert met Screaming Frog, stap voor stap.

1. Waarom logbestanden analyseren?

Waar een normale crawl laat zien wat er technisch mogelijk is, laat een logbestand zien wat zoekmachines daadwerkelijk doen. Denk aan:

• Welke pagina’s worden door Googlebot bezocht?
  
• Hoe vaak wordt een bepaalde URL gecrawld?
  
• Crawltijd vs. crawlbudget: wat gaat verloren aan irrelevante URLs?
  
• Worden redirects, 404’s of parameter-URLs vaak aangeroepen?
  

Loganalyse = de werkelijkheid. Niet de intentie.

2. Wat heb je nodig?

Om logfiles te analyseren met Screaming Frog heb je het volgende nodig:

• Een gecomprimeerd of geëxporteerd logbestand van je webserver (Apache: .log, NGINX: .access.log)
  
• Of export vanuit een CDN zoals Cloudflare / Akamai
  
• Een Screaming Frog licentie (loganalyse werkt alleen in de betaalde versie)
  

Vraag je ontwikkelaar of hostingpartij om minimaal 7–30 dagen aan logdata.

3. Logbestand importeren in Screaming Frog

1. Open Screaming Frog
   
2. Ga naar Mode > Log File Analyser
   
3. Klik op New Project > Import Log Files
   
4. Selecteer je logbestand(en)
   
5. Geef op welk domein je wilt analyseren
   

De tool herkent automatisch user-agents, response codes, statuscodes en timestamps.

4. Analyseer Googlebot-activiteit

Ga naar het tabblad Bots > Googlebot om te zien:

• Welke pagina’s zijn het vaakst bezocht
  
• Statuscodes van bezoeken (200, 301, 404, 5xx)
  
• Laatste crawl-datum per pagina
  
• Verdeling per directory, subdomein of paginatype
  

Je kunt ook filteren op andere bots: Bingbot, AdsBot, etc.

5. Belangrijke inzichten die je kunt halen

Inzicht	Actie
Veel crawl op 404’s	Redirect instellen of foutpagina’s opruimen
Crawl op parameter-URLs	Robots.txt aanpassen of canonical instellen
Belangrijke pagina’s worden niet bezocht	Interne links verbeteren of opnemen in sitemap
Crawl op dev-/test-URLs	Uitsluiten via robots.txt of authenticatie verplicht maken
Veel crawl op redirects	Redirect chains opschonen, eind-URL’s promoten in interne links

6. Data combineren met crawlgegevens

Wil je weten welke pagina’s wel bestaan, maar niet bezocht worden?

1. Voer een normale crawl uit van je site in Screaming Frog
   
2. Ga naar Log File Analyser > Compare Crawl Data
   
3. Combineer crawl- en loggegevens
   
4. Filter op: “Crawled in crawl maar niet in logfile” → potentiële crawl budget issues
   

Dit geeft inzicht in wat Google mist of negeert.

7. Exporteren & rapporteren

Alle tabellen zijn exporteerbaar naar Excel/CSV. Handig voor:

• Klant- of dev-rapportage
  
• Prioriteit geven aan technische tickets
  
• Bewijs leveren bij crawlbudget-discussies
  

Gebruik de visuele tab “Overview” voor snel inzicht in verdeling per statuscode of crawltype.

Tot slot

Logbestandanalyse via Screaming Frog geeft je data die je nergens anders ziet: hoe Google zich écht door je site beweegt. Combineer dit met crawldata en je hebt een krachtig fundament voor technische SEO-beslissingen.