Czy Twój plik robots ma nadwagę?
Wydaje się, że w pliku tekstowym można pisać w nieskończoność. Przecież tekst zajmuje mało miejsca, prawda?
W przypadku gigantycznych serwisów e-commerce, które generują blokady automatycznie, plik ten potrafi urosnąć do monstrualnych rozmiarów.
Musisz wiedzieć, że Google narzuca sztywny limit. Wynosi on 500 kilobajtów (KB).
Co czytaj dalej się stanie, gdy go przekroczysz? Google może przestać czytać reguły znajdujące się po przekroczeniu tego limitu. To oznacza, że Twoje kluczowe blokady na dole pliku mogą zostać całkowicie zignorowane.
Jak skutecznie odchudzić plik robots?
Profesjonalna optymalizacja pliku robots nie polega na dopisywaniu kolejnych linii, ale na ich skracaniu.
Oto jak zredukować rozmiar pliku bez utraty funkcjonalności:
1. Używaj wzorców (Pattern Matching)
To najczęstszy błąd. Zamiast blokować każdy produkt z osobna, zablokuj wzorzec.
ŹLE (Zajmuje dużo miejsca):
Disallow: /produkt/buty-czerwone?sort=cena Disallow: /produkt/buty-niebieskie?sort=cena Disallow: /produkt/buty-zielone?sort=cena ... (i tak 10 000 linii)
DOBRZE (Zajmuje 1 linię):
Disallow: /*?sort=
Dzięki znakom specjalnym (gwiazdka) możesz zastąpić tysiące linii jedną, elegancką regułą. To esencja tego, jak skonfigurować plik robots w dużym serwisie.
Usuń zbędne komentarze
W pliku robots.txt każda linia zaczynająca się od znaku jest komentarzem dla człowieka. Roboty ją ignorują.
O ile krótkie notatki są pomocne, to pisanie esejów wewnątrz pliku jest błędem.
Pamiętaj, że każdy znak to bajty, które wliczają się do limitu 500 KB. Jeśli zbliżasz się do granicy, usuń wszystkie komentarze. Googlebot Ci za to podziękuje – im lżejszy plik, tym szybciej zostanie pobrany i przetworzony.
Czystość kodu to bezpieczeństwo
specyfikacja robots.txt
Im dłuższy i bardziej skomplikowany plik, tym większe ryzyko, że popełnisz literówkę lub stworzysz sprzeczne reguły.
Najlepsze pliki robots w SEO są krótkie, zwięzłe i opierają się na szerokich regułach katalogowych, a nie na wyliczaniu pojedynczych adresów URL.
Podsumowanie
Rozmiar ma znaczenie. Sprawdź wagę swojego pliku robots.txt.
Jeśli ma kilka kilobajtów – śpij spokojnie. Jeśli zbliża się do pół megabajta – czas na generalne porządki i naukę wyrażeń regularnych.
Masz problem z indeksacją strony?
Zamów darmową analizę widoczności.
Gwarantujemy wzrost pozycji.