X-Robots-Tag: Steuerung für Suchmaschinen

Was ist der X-Robots-Tag?

Der X-Robots-Tag ist eine Anweisung, mit der sich steuern lässt, wie Suchmaschinen mit einer bestimmten Datei oder Seite umgehen, etwa ob sie indexiert werden darf oder ob Suchmaschinen den Links auf ihr folgen sollen. Anders als das bekannte Robots-Meta-Tag, das im HTML-Code einer Seite steht, wird der X-Robots-Tag im sogenannten HTTP-Header übermittelt, also in den technischen Informationen, die ein Server beim Aufruf einer Datei mitsendet, bevor der eigentliche Inhalt geladen wird.

Dieser Unterschied im Übertragungsweg ist der entscheidende Vorteil: Während das Robots-Meta-Tag nur in HTML-Dokumenten funktioniert, lässt sich der X-Robots-Tag auf praktisch jeden Dateityp anwenden, also auch auf PDFs, Bilder oder andere Dokumente, die gar keinen HTML-Code besitzen.

Der Unterschied zum Robots-Meta-Tag

Beide Werkzeuge erfüllen denselben Zweck, nämlich Suchmaschinen Anweisungen zur Indexierung zu geben, unterscheiden sich aber im Weg:

Robots-Meta-Tag: Steht im <head>-Bereich einer HTML-Seite, etwa <meta name="robots" content="noindex">. Funktioniert nur bei HTML-Dokumenten.
X-Robots-Tag: Wird im HTTP-Header gesendet und funktioniert für jeden Dateityp, auch für nicht-HTML-Dateien wie PDFs oder Bilder.

Vereinfacht: Das Robots-Meta-Tag ist die Lösung für HTML-Seiten, der X-Robots-Tag die flexiblere, serverseitige Variante für alle anderen Fälle.

Welche Anweisungen sind möglich?

Der X-Robots-Tag unterstützt dieselben Anweisungen (Direktiven) wie das Robots-Meta-Tag. Die wichtigsten sind:

noindex: Die Seite oder Datei soll nicht in den Suchindex aufgenommen werden.
nofollow: Den Links auf der Seite soll nicht gefolgt werden.
noarchive: Es soll keine zwischengespeicherte Kopie in den Suchergebnissen angeboten werden.
none: Eine Kombination aus noindex und nofollow.

Ein Beispiel, wie eine solche Anweisung im HTTP-Header aussieht:

X-Robots-Tag: noindex, nofollow

Wann ist der X-Robots-Tag besonders nützlich?

Der größte Vorteil liegt in der Steuerung von Nicht-HTML-Dateien. Typische Anwendungsfälle:

PDF-Dateien aus dem Index halten: Etwa Preislisten, interne Dokumente oder Whitepaper, die zwar verfügbar sein, aber nicht in den Suchergebnissen erscheinen sollen.
Bilder von der Indexierung ausschließen: Wenn bestimmte Grafiken nicht in der Google-Bildersuche auftauchen sollen.
Ganze Dateitypen regeln: Über die Serverkonfiguration lässt sich eine Anweisung auf alle Dateien eines bestimmten Typs anwenden, etwa alle PDFs einer Webseite auf einmal.

Der wichtige Zusammenhang mit der robots.txt

Ein entscheidender Punkt, der oft falsch gemacht wird: Damit Google den X-Robots-Tag (etwa ein noindex) überhaupt lesen kann, muss die Datei crawlbar sein. Wird dieselbe Datei gleichzeitig per robots.txt vom Crawling ausgeschlossen, kann Google die Anweisung im HTTP-Header gar nicht erst sehen, denn die Datei wird ja nicht abgerufen.

Das bedeutet konkret: Wer eine Datei zuverlässig aus dem Index halten will, darf sie nicht per robots.txt sperren, sondern muss sie crawlbar lassen und mit einem noindex per X-Robots-Tag versehen. Dieser Zusammenhang ist identisch mit dem beim Robots-Meta-Tag und eine der häufigsten technischen SEO-Verwechslungen.

Worauf man achten sollte

Serverzugriff nötig: Die Einrichtung erfolgt in der Regel über die Serverkonfiguration (etwa die .htaccess-Datei bei Apache oder die Konfiguration bei Nginx). Das erfordert technisches Wissen oder Unterstützung durch den Hoster.
Sorgfältig testen: Da die Anweisung serverseitig greift und oft ganze Dateitypen betrifft, kann ein Fehler schnell viele Dateien ungewollt aus dem Index nehmen.
Prüfen über die Search Console: Mit der URL-Prüfung in der Google Search Console lässt sich kontrollieren, ob die Anweisung korrekt erkannt wird.

Fazit

Der X-Robots-Tag ist ein leistungsfähiges Werkzeug der technischen Suchmaschinenoptimierung, mit dem sich die Indexierung von Inhalten über den HTTP-Header steuern lässt. Sein großer Vorteil gegenüber dem Robots-Meta-Tag ist die Flexibilität: Er funktioniert für jeden Dateityp, auch für PDFs und Bilder. Entscheidend für den richtigen Einsatz ist das Verständnis, dass die betroffene Datei crawlbar bleiben muss, damit die Anweisung gelesen werden kann. Wegen des nötigen Serverzugriffs und der weitreichenden Wirkung sollte der X-Robots-Tag mit Sorgfalt eingesetzt und nach der Einrichtung gründlich geprüft werden.