Robots.txt
Robots.txt ist eine Datei, die sich im Stammordner oder Root einer Website befindet. Eine robots.txt hat mehrere Funktionen, z. B. teilt sie den Crawlern von Suchmaschinen mit, welche Websites oder Webseiten sie durchsuchen dürfen und welche nicht. Dies ist auch wichtig, um in Google weiter oben zu erscheinen.
Was ist die robots.txt?
Eine robots.txt-Datei ist eine Textdatei, die öffentlich zugänglich ist. Sie ist eine sehr wichtige Datei, da sie einer Suchmaschine genau mitteilt, welchen Teil einer Website ein Suchmaschinen-Crawler indizieren darf und welchen nicht. Dies kann die Leistung der Website erheblich beeinträchtigen.
Für die Suchmaschinenoptimierung(z. B. eine SEO-Kampagne) ist es ein sehr leistungsfähiges und auch technisches Instrument. Befindet sich auf dem Webserver keine robots.txt? Dann kann eine Suchmaschine die gesamte Website durchsuchen.
Beispiele für robots.txt
Es ist sehr wichtig zu wissen, dass eine robots.txt eine Seite, die bereits indiziert ist, nicht löscht. Sie verhindert nur, dass eine Seite von den Crawlern der Suchmaschinen indiziert wird. Wenn eine Seite also schon eine Weile online war, bevor eine robots.txt-Datei hinzugefügt wurde, bleibt sie dennoch in der Datenbank der Suchmaschine gespeichert.
Die Bedeutung von robots.txt
Wenn ein Suchmaschinen-Crawler eine bestimmte Website besucht, wird er immer zuerst die robots.txt-Datei überprüfen. Eigentlich ist robots.txt Teil des Robots Exclusion Protocol (REP). Dieses Protokoll regelt, wie Robots das Web indizieren und crawlen dürfen. Dies ist nützlich, wenn Sie z. B. möchten, dass eine Suchmaschine keine doppelten Seiten indiziert.
Die Auswirkungen von robots.txt
Die robots.txt-Datei gibt es seit 1994 und wurde von dem Niederländer Martijn Koster entwickelt. Seine Website wurde von einer Suchmaschine in ein schlechtes Licht gerückt. Daher ist der Zweck von robots.txt, mehr Kontrolle über Ihr Ranking und Ihre Suchmaschinenoptimierung zu erhalten. Das ist sehr wichtig, wenn Sie Ihre Website gut platzieren wollen.
Mein Rat
Für jeden, der mit einem Website-SEO-Berater zusammenarbeitet, ist es nützlich, genau zu wissen, was robots.txt bedeutet und wofür es verwendet wird. Wenn Sie keine robots.txt auf Ihrer Website platziert haben, werden die Suchmaschinen die gesamte Website crawlen, was Sie vielleicht lieber vermeiden möchten.