Logfile-Analyse im Zeitalter der KI-Bots: Welche Crawler zählen noch?

Eine Logfile-Analyse ist eine der direktesten und zuverlässigsten Methoden, um herauszufinden, wie Crawler Ihre Website tatsächlich ansteuern. In der klassischen SEO-Ära drehte sich dies hauptsächlich um den Googlebot. Da KI-Systeme Inhalte immer aktiver bewerten, ändert sich auch die Art und Weise, wie Ihre Seite gecrawlt wird.

Die Frage ist nicht mehr, ob KI-Crawlbots vorbeikommen, sondern welche Crawler wirklich noch relevant sind. Wir untersuchen auch, wie Sie deren Verhalten interpretieren.

Was zeigt eine Protokolldatei?

Eine Protokolldatei zeichnet jede Serveranfrage auf und speichert dann Ihre IP-Adresse, den User-Agent, die Tageszeit und den angeforderten Pfad. Für SEO-Zwecke sollten Sie genauer untersuchen, welche Bots welche Seiten anfordern. Untersuchen Sie, wie häufig Crawls pro Agent stattfinden und ob bestimmte Seiten unbeabsichtigt nicht besucht werden.

Das Verständnis dieser Muster ist wichtig, um Ihr Crawl-Budget, die Indexierung und die technische Erreichbarkeit zu optimieren, aber auch, um KI-Crawler zu verstehen.

Der Aufstieg der neuen Crawler

Neben Googlebot und Bingbot taucht eine wachsende Zahl von KI-bezogenen Crawlern in den Logdateien auf. Diese Crawler sammeln Daten, um Sprachmodelle zu trainieren oder um Antworten in Echtzeit zu liefern. Ich gebe Ihnen ein paar relevante Beispiele:

1. Google-Erweiterung
Dies ist ein System, das Inhalte zur Verwendung in Googles generativen KI-Systemen, wie Gemini, abruft. Dieser Crawler ist vom traditionellen Suchindex von Google getrennt.

2. GPTBot
GPTBot wird nicht nur zum Schreiben von Texten und Beantworten von Fragen aller Art verwendet, sondern auch zum Trainieren der Modelle von OpenAI, wie z.B. ChatGPT. Wenn Sie das Crawling durch GPTBot erlauben, können Ihre Inhalte nur in zukünftige Versionen von ChatGPT aufgenommen werden. (1)

3. PerplexityBot, ClaudeBot und Amazonbot
Dies sind neue Spieler auf dem KI-Spielfeld. Diese Bots sind für das Abrufen von Informationen, FAQs und Assistenzfunktionen gedacht. Sie greifen regelmäßig und in großem Umfang auf Websites zu.

Diese KI-Crawler verhalten sich anders als Suchmaschinen-Bots. Sie sehen sich oft andere Arten von Inhalten an (z. B. PDFs, lange Anleitungen oder Datensätze) und achten weniger auf kanonische Tags oder Crawl-Verzögerungsanweisungen.

Beachten Sie, dass die Einhaltung der Crawl-Verzögerung von Bot zu Bot unterschiedlich ist. Im Falle einer Überlastung können Sie den Datenverkehr in einem IP-Bereich drosseln oder ihn vorübergehend mit einer WAF-Regel blockieren.

Überprüfen Sie bei diesen Bots immer den User-Agent und den IP-Bereich. Sie respektieren zwar die robots.txt, aber die Überprüfung dieser Angaben verhindert Fehlklassifizierungen. (2)

Mit SEO durchstarten? Nehmen Sie gerne Kontakt auf.

Name *

E-Mail *

Telefon

Website

Nachricht

Was zählt noch zum Kriechverhalten?

Mit der Verlagerung hin zu KI-Bots verschiebt sich auch der Wert der Logfile-Analyse. Zu den wichtigen Signalen gehört, ob KI-Bots Ihre semantisch starken Seiten erfassen und ob das Crawler-Verhalten mit den Seiten übereinstimmt, die eine Aufnahme in die Suchergebnisse erzeugen. Untersuchen Sie auch, ob Ihre strukturierten Daten von Bots, die KI-Antworten erstellen, effektiv erfasst werden.

Wo früher das Crawl-Budget im Mittelpunkt stand, geht es jetzt um Erkennung und Snippet-Verarbeitung. Fragen Sie sich: Wird Ihr Inhalt als relevante Eingabequelle für Antworten erkannt?

Praktische Schritte bei der Analyse Ihrer Logdatei

Um relevante Erkenntnisse aus modernen Protokolldateien zu gewinnen, konzentrieren Sie sich auf:

1. Filterung von Benutzer-Agenten
   Stellen Sie sicher, dass Ihre Tools Crawler korrekt erkennen und gruppieren. Fügen Sie bei Bedarf neue Agenten manuell zu Ihrer Analyseplattform hinzu.
   
2. IP-Validierung für zweifelhafte Bots
   Einige KI-Chatbots sind gefälscht (geben sich als ein anderer Bot oder Browser aus) oder unvollständig identifiziert. Im Zweifelsfall sollten Sie die IP-Adresse und die Herkunft überprüfen. (3)
   
3. Vergleichen Sie die Crawl-Häufigkeit mit der Sichtbarkeit in generierten Antworten
   Analysieren Sie, ob es eine Korrelation zwischen den KI-Crawls und der Sichtbarkeit in den generierten Antworten gibt. Dies gibt Aufschluss darüber, welche Bots wirklich einen Einfluss haben.

Wenn Sie die Logfile-Analyse zum richtigen Zeitpunkt einsetzen, haben Sie einen Vorsprung beim Verständnis der KI-Inhaltsverteilung.

Wie schicke ich KI-Bots zu den richtigen Ressourcen?

Bei einem B2B-Kunden fiel mir in den Protokollen auf, dass die verwendeten Bots (GPTBot und PerplexityBot) hauptsächlich HTML besuchten und somit PDF-Anleitungen verpassten. Ich habe die PDFs in eine separate /resources-Sitemap gestellt und Robot-Tags wie index,follow + Dateinamen mit Betreff hinzugefügt.

Innerhalb von vier Wochen stieg die Anzahl der eindeutigen Zugriffe von KI-Bots auf die Ressourcen dieses Kunden um 180 %. Wir sahen die ersten Zitate in generierten Antworten auf produktbezogene Anfragen.

Zusammenfassung

Die Analyse von Logfiles bleibt ein wichtiger Pfeiler der technischen SEO. Der Schwerpunkt verlagert sich von der Indexierung durch Googlebot zur Interpretation und Indexierung durch KI-Bots. Systeme wie GPTBot, PerplexityBot und Google-Extended bestimmen Ihre Präsenz in KI-gesteuerten Schnittstellen. Indem Sie Ihre Logdateien aktiv überwachen und diese neuen Crawler analysieren, steuern Sie gezielt die Aufnahme Ihrer Inhalte in KI-generierte Antworten in Suchmaschinen.