robots.txt für SEO richtig konfigurieren (meine Anleitung)
Senior SEO-specialist
Die robots.txt ist eine kleine Datei mit großer Wirkung. Sie bestimmt, was Suchmaschinen auf Ihrer Website crawlen können und was nicht. Ein Fehler in dieser Datei kann zu blockierten Inhalten, verpasster Indizierung oder sogar zum Verlust des Rankings führen. In diesem Artikel erkläre ich Ihnen Schritt für Schritt, wie Sie eine robots.txt-Datei für SEO richtig einrichten.
1. Was ist robots.txt?
Die robots.txt ist eine Textdatei, die Sie im Stammverzeichnis Ihrer Domain ablegen (z.B. https://jouwdomein.nl/robots.txt). Suchmaschinen lesen diese Datei bei ihrem ersten Besuch, um festzustellen, welche Pfade sie crawlen dürfen.
Wichtig:
- Es ist keine Garantie dafür, dass etwas nicht indiziert wird (verwenden Sie dafür auch noindex)
- Es blockiert das Crawling, nicht unbedingt die Indizierung
- Falsche Regeln können ungewollte SEO-Schäden verursachen
2. Aufbau einer robots.txt-Datei
Eine Standarddatei sieht wie folgt aus:
txt
User-agent: *
Disallow:
Sitemap: https://jouwdomein.nl/sitemap.xml
Erläuterung:
- Benutzer-Agent: * = gilt für alle Bots
- Nicht zulassen: ohne Pfad = alles zulassen
- Disallow: /admin/ = alles im Ordner /admin/ blockieren
- Erlauben: /pfad/ = explizit erlauben (nützlich für Ausnahmen)
3. Was blockieren Sie und was blockieren Sie nicht?
Aber blockieren:
- Verwaltungs-/Anmeldeseiten (/wp-admin/, /cart/, /checkout/)
- Interne Suchergebnisse (/search/)
- Filtern von Seiten mit unnötigen Parametern (?color=, ?sort=)
- Test/dev-Verzeichnisse (/beta/, /test/)
Nicht blockieren:
- CSS- und JS-Dateien (erforderlich für die Rendering-Steuerung)
- Wichtige Seitentypen (SEO-Seiten, Blog, Dienstleistungen)
- Bilder (es sei denn, Sie möchten sie absichtlich aus den Suchergebnissen heraushalten)
Google sollte in der Lage sein, die Website so darzustellen, wie es die Benutzer tun. Blockieren Sie also keine Styling- oder Skriptdateien.
Aan de slag met SEO? Neem gerust contact op.
4. Beispiele für eine gute Konfiguration
Für WordPress:
txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://jouwdomein.nl/sitemap_index.xml
Für Webshops (z.B. WooCommerce):
txt
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?orderby=
Disallow: /*add-to-cart=*
Sitemap: https://jouwdomein.nl/sitemap.xml
5. Testen Sie Ihre robots.txt-Datei
Fehler schleichen sich schnell ein. Testen Sie immer:
- Google Search Console > Robots.txt-Tester
- Screaming Frog > Konfiguration > Robots.txt
- Chrome DevTools > „Blockiert durch robots.txt“ Fehlermeldungen
6. Häufige Fehler
| Fehler | Lösung |
| Alles blockieren mit Disallow: / | Wenden Sie diese Methode nur in zeitlich befristeten Situationen an. |
| CSS/JS-Blockierung | Für die korrekte Wiedergabe immer zugänglich lassen |
| Keine Sitemap-Zeile enthalten | Sitemap am Ende der Datei hinzufügen |
| Nicht zulassen: /*? ohne Test verwenden | Stellen Sie sicher, dass Parameter, die einen Wert haben, zugänglich bleiben |
| Verwendung von robots.txt anstelle von noindex | Verwenden Sie noindex zur Indizierungskontrolle, robots.txt nur zum Crawlen |
7. Robots.txt und Bereitstellungs-/Testumgebungen
Möchten Sie Test- oder Staging-Umgebungen abschirmen?
Verwendung:
txt
User-agent: *
Disallow: /
Aber: Dies verhindert nur das Crawlen, nicht die Indizierung. Kombinieren Sie mit:
- HTTP-Authentifizierung (grundlegende Sicherheit)
- noindex in <meta> tags
- IP-Adresse über .htaccess oder Firewall blockieren
Zusammenfassend
Eine korrekt eingestellte robots.txt verhindert Crawl-Müll und schützt Ihre Website vor unbeabsichtigten Indizierungsproblemen. Arbeiten Sie mit klaren, kontrollierten Regeln – und testen Sie bei jeder Änderung. Kleine Datei, große Wirkung.
