Robots.txt

Robots.txt ist eine Datei, die sich im Stammordner oder Root einer Website befindet. Eine robots.txt hat mehrere Funktionen, z. B. teilt sie den Crawlern von Suchmaschinen mit, welche Websites oder Webseiten sie durchsuchen dürfen und welche nicht. Dies ist auch wichtig, um in Google weiter oben zu erscheinen.

Was ist die robots.txt?

Eine robots.txt-Datei ist eine Textdatei, die öffentlich zugänglich ist. Sie ist eine sehr wichtige Datei, da sie einer Suchmaschine genau mitteilt, welchen Teil einer Website ein Suchmaschinen-Crawler indizieren darf und welchen nicht. Dies kann die Leistung der Website erheblich beeinträchtigen.

Für die Suchmaschinenoptimierung(z. B. eine SEO-Kampagne) ist es ein sehr leistungsfähiges und auch technisches Instrument. Befindet sich auf dem Webserver keine robots.txt? Dann kann eine Suchmaschine die gesamte Website durchsuchen.

Beispiele für robots.txt

Es ist sehr wichtig zu wissen, dass eine robots.txt eine Seite, die bereits indiziert ist, nicht löscht. Sie verhindert nur, dass eine Seite von den Crawlern der Suchmaschinen indiziert wird. Wenn eine Seite also schon eine Weile online war, bevor eine robots.txt-Datei hinzugefügt wurde, bleibt sie dennoch in der Datenbank der Suchmaschine gespeichert.

Die Bedeutung von robots.txt

Wenn ein Suchmaschinen-Crawler eine bestimmte Website besucht, wird er immer zuerst die robots.txt-Datei überprüfen. Eigentlich ist robots.txt Teil des Robots Exclusion Protocol (REP). Dieses Protokoll regelt, wie Robots das Web indizieren und crawlen dürfen. Dies ist nützlich, wenn Sie z. B. möchten, dass eine Suchmaschine keine doppelten Seiten indiziert.

Die Auswirkungen von robots.txt

Die robots.txt-Datei gibt es seit 1994 und wurde von dem Niederländer Martijn Koster entwickelt. Seine Website wurde von einer Suchmaschine in ein schlechtes Licht gerückt. Daher ist der Zweck von robots.txt, mehr Kontrolle über Ihr Ranking und Ihre Suchmaschinenoptimierung zu erhalten. Das ist sehr wichtig, wenn Sie Ihre Website gut platzieren wollen.

Mein Rat

Für jeden, der mit einem Website-SEO-Berater zusammenarbeitet, ist es nützlich, genau zu wissen, was robots.txt bedeutet und wofür es verwendet wird. Wenn Sie keine robots.txt auf Ihrer Website platziert haben, werden die Suchmaschinen die gesamte Website crawlen, was Sie vielleicht lieber vermeiden möchten.

Senior SEO-specialist

Ralf van Veen

Senior SEO-specialist
Five stars
Mein kunde hat mir bei Google 5.0 von 75 bewertungen gegeben

Ich arbeite seit 10 Jahren als unabhängiger SEO-Spezialist für Unternehmen (in den Niederlanden und im Ausland), die auf nachhaltige Weise eine höhere Position in Google erreichen wollen. In dieser Zeit habe ich A-Marken beraten, groß angelegte internationale SEO-Kampagnen aufgesetzt und globale Entwicklungsteams im Bereich der Suchmaschinenoptimierung gecoacht.

Mit dieser breiten Erfahrung im Bereich SEO habe ich den SEO-Kurs entwickelt und hunderten von Unternehmen geholfen, ihre Auffindbarkeit in Google nachhaltig und transparent zu verbessern. Dazu können Sie mein portfolio, referenzen und kooperationen einsehen.

Dieser Artikel wurde ursprünglich am 22 März 2024 veröffentlicht. Die letzte Aktualisierung dieses Artikels erfolgte am 22 März 2024. Der Inhalt dieser Seite wurde von Ralf van Veen verfasst und genehmigt. Erfahren Sie mehr über die Erstellung meiner Artikel in meinen redaktionellen leitlinien.