X-Robots-Tag: kontrola indeksowania

Czym jest X-Robots-Tag?

X-Robots-Tag to dyrektywa, za pomocą której można kontrolować, jak wyszukiwarki traktują określony plik lub stronę, na przykład czy może być indeksowana lub czy wyszukiwarki mają podążać za linkami na niej. W przeciwieństwie do znanego Robots-Meta-Tag, który znajduje się w kodzie HTML strony, X-Robots-Tag jest przesyłany w tak zwanym nagłówku HTTP, czyli w informacjach technicznych, które serwer wysyła przy wywołaniu pliku, zanim zostanie załadowana właściwa treść.

Ta różnica w sposobie przesyłania jest kluczową zaletą: podczas gdy Robots-Meta-Tag działa tylko w dokumentach HTML, X-Robots-Tag można zastosować praktycznie do każdego typu pliku, także do PDF-ów, obrazów lub innych dokumentów, które nie posiadają kodu HTML.

Różnica w porównaniu z Robots-Meta-Tag

Oba narzędzia służą temu samemu celowi, mianowicie wydawaniu wyszukiwarkom instrukcji dotyczących indeksowania, różnią się jednak sposobem działania:

Robots-Meta-Tag: Znajduje się w sekcji <head> strony HTML, na przykład <meta name="robots" content="noindex">. Działa tylko w dokumentach HTML.
X-Robots-Tag: Jest wysyłany w nagłówku HTTP i działa dla każdego typu pliku, także dla plików niebędących HTML, takich jak PDF-y czy obrazy.

W uproszczeniu: Robots-Meta-Tag to rozwiązanie dla stron HTML, a X-Robots-Tag to bardziej elastyczna, serwerowa wersja dla wszystkich innych przypadków.

Jakie instrukcje są możliwe?

X-Robots-Tag obsługuje te same instrukcje (dyrektywy) co Robots-Meta-Tag. Najważniejsze z nich to:

noindex: Strona lub plik nie powinny być dodawane do indeksu wyszukiwania.
nofollow: Nie należy podążać za linkami na stronie.
noarchive: Nie należy oferować kopii zapisanej w pamięci podręcznej w wynikach wyszukiwania.
none: Kombinacja noindex i nofollow.

Przykład, jak taka instrukcja wygląda w nagłówku HTTP:

X-Robots-Tag: noindex, nofollow

Kiedy X-Robots-Tag jest szczególnie przydatny?

Największa zaleta polega na możliwości kontrolowania plików innych niż HTML. Typowe przypadki użycia:

Utrzymanie plików PDF poza indeksem: Na przykład cenniki, dokumenty wewnętrzne lub whitepapery, które mają być dostępne, ale nie powinny pojawiać się w wynikach wyszukiwania.
Wykluczenie obrazów z indeksowania: Gdy niektóre grafiki nie powinny pojawiać się w wyszukiwarce obrazów Google.
Regulacja całych typów plików: Poprzez konfigurację serwera można zastosować instrukcję do wszystkich plików danego typu, na przykład do wszystkich PDF-ów na stronie jednocześnie.

Ważny związek z robots.txt

Kluczowy punkt, który często jest źle rozumiany: aby Google mogło odczytać X-Robots-Tag (na przykład noindex), plik musi być możliwy do przeszukania. Jeśli ten sam plik jest jednocześnie wykluczony z przeszukiwania przez robots.txt, Google nie będzie w stanie zobaczyć instrukcji w nagłówku HTTP, ponieważ plik nie zostanie pobrany.

Oznacza to konkretnie: kto chce niezawodnie wykluczyć plik z indeksu, nie może go blokować przez robots.txt, lecz musi pozostawić go dostępnym do przeszukiwania i oznaczyć noindex za pomocą X-Robots-Tag. Ten związek jest identyczny jak w przypadku Robots-Meta-Tag i jest jednym z najczęstszych technicznych nieporozumień w SEO.

Na co należy zwrócić uwagę

Dostęp do serwera wymagany: Konfiguracja odbywa się zazwyczaj poprzez ustawienia serwera (na przykład plik .htaccess w Apache lub konfigurację w Nginx). Wymaga to wiedzy technicznej lub wsparcia ze strony hostingu.
Dokładne testowanie: Ponieważ instrukcja działa po stronie serwera i często dotyczy całych typów plików, błąd może szybko spowodować, że wiele plików zostanie niechcący usuniętych z indeksu.
Sprawdzanie przez Search Console: Za pomocą narzędzia do sprawdzania URL w Google Search Console można skontrolować, czy instrukcja jest prawidłowo rozpoznawana.

Podsumowanie

X-Robots-Tag to potężne narzędzie technicznej optymalizacji pod kątem wyszukiwarek, które pozwala kontrolować indeksowanie treści poprzez nagłówek HTTP. Jego największą zaletą w porównaniu z Robots-Meta-Tag jest elastyczność: działa dla każdego typu pliku, także dla PDF-ów i obrazów. Kluczowe dla prawidłowego zastosowania jest zrozumienie, że dany plik musi pozostać dostępny do przeszukiwania, aby instrukcja mogła zostać odczytana. Ze względu na wymagany dostęp do serwera oraz dalekosiężne skutki, X-Robots-Tag powinien być stosowany z rozwagą i po implementacji dokładnie sprawdzony.