Analyse von Protokolldateien mit Screaming Frog
Senior SEO-specialist
Viele SEO-Spezialisten verwenden Screaming Frog für Crawls, vergessen aber, dass das Programm auch hervorragend für die Analyse von Logdateien geeignet ist. Dadurch erhalten Sie einen Einblick in die Suchmaschinen, die Ihre Website wirklich crawlen – und was sie nicht tun. In diesem Artikel: Wie Sie mit Screaming Frog Logdateien analysieren, Schritt für Schritt.
1. Warum sollten Sie Protokolldateien analysieren?
Während ein normaler Crawl zeigt, was technisch möglich ist, zeigt eine Protokolldatei, was Suchmaschinen tatsächlich tun. Denken Sie darüber nach:
- Welche Seiten werden von Googlebot besucht?
- Wie oft wird eine bestimmte URL gecrawlt?
- Crawl-Zeit vs. Crawl-Budget: Was geht durch irrelevante URLs verloren?
- Werden häufig Weiterleitungen, 404er oder Parameter-URLs aufgerufen?
Protokollanalyse = Realität. Nicht Absicht.
2. Was brauchen Sie?
Um Protokolldateien mit Screaming Frog zu analysieren, benötigen Sie Folgendes:
- Eine komprimierte oder exportierte Protokolldatei von Ihrem Webserver (Apache: .log, NGINX: .access.log)
- Oder exportieren Sie von einem CDN wie Cloudflare / Akamai
- Eine Screaming Frog Lizenz (die Protokollanalyse funktioniert nur in der kostenpflichtigen Version)
Bitten Sie Ihren Entwickler oder Hoster um mindestens 7-30 Tage Protokolldaten.
3. Importieren Sie die Protokolldatei in Screaming Frog
- Screaming Frog öffnen
- Gehen Sie zu Modus > Log File Analyser
- Klicken Sie auf Neues Projekt > Protokolldateien importieren
- Wählen Sie Ihre Protokolldatei(en)
- Geben Sie an, welche Domäne Sie analysieren möchten
Das Tool erkennt automatisch Benutzer-Agenten, Antwortcodes, Statuscodes und Zeitstempel.
Aan de slag met SEO? Neem gerust contact op.
4. Analysieren Sie die Googlebot-Aktivität
Gehen Sie auf die Registerkarte Bots > Googlebot zu sehen:
- Welche Seiten am häufigsten besucht wurden
- Statuscodes der Besuche (200, 301, 404, 5xx)
- Letztes Crawl-Datum pro Seite
- Verteilung nach Verzeichnis, Subdomain oder Seitentyp
Sie können auch nach anderen Bots filtern: Bingbot, AdsBot, usw.
5. Wichtige Erkenntnisse, die Sie gewinnen können
| Einsicht | Aktion |
| Jede Menge Crawl auf 404s | Weiterleitung einstellen oder Fehlerseiten löschen |
| Crawlen nach Parameter-URLs | Ändern Sie robots.txt oder setzen Sie canonical |
| Wichtige Seiten werden nicht besucht | Verbessern Sie die internen Links oder nehmen Sie sie in die Sitemap auf. |
| Crawlen von Entwicklungs-/Test-URLs | Über robots.txt ausschließen oder Authentifizierung obligatorisch machen |
| Jede Menge Kriechgänge bei Weiterleitungen | Umleitungsketten bereinigen, End-URLs in internen Links fördern |
6. Kombinieren von Daten mit Crawl-Daten
Möchten Sie wissen, welche Seiten existieren, aber nicht besucht werden?
- Führen Sie einen normalen Crawl Ihrer Website in Screaming Frog durch
- Gehen Sie zu Log File Analyser > Crawl-Daten vergleichen
- Kombinieren Sie Crawl- und Protokolldaten
- Filtern nach: ‚Im Crawl gecrawlt, aber nicht im Logfile‘ → mögliche Probleme mit dem Crawl-Budget
Dies gibt Aufschluss darüber, was Google übersehen oder ignoriert hat.
7. Exportieren & Berichten
Alle Tabellen sind in Excel/CSV exportierbar. Nützlich für:
- Kunden- oder Entwicklungsberichte
- Priorisierung der technischen Tickets
- Beweise in den Crawl-Budget-Diskussionen liefern
Verwenden Sie die visuelle Registerkarte „Übersicht“ für einen schnellen Einblick in die Verteilung nach Statuscode oder Crawl-Typ.
Zusammenfassend
Die Analyse der Logdateien durch Screaming Frog liefert Ihnen Daten, die Sie nirgendwo anders sehen: wie Google sich wirklich auf Ihrer Website bewegt. Kombinieren Sie dies mit Crawl-Daten und Sie haben eine starke Grundlage für technische SEO-Entscheidungen.
