Plik robots.txt i sekcja META – dlaczego są tak ważne w SEO?

Czym jest plik robots.txt i jak go przygotować?

Do czego służy plik robots .txt? Plik robots.txt znajduje się w katalogu głównym na serwerze FTP (głównym folderze domeny, czyli katalogu root). Przekazuje robotom wyszukiwarek, a także narzędzi pozycjonujących informacje o tym, co mogą indeksować z danej domeny oraz do których zasobów (adresów URL) nie mogą mieć dostępu. Jeżeli chcesz sprawnie zarządzać ruchem robotów indeksujących w Twojej stronie www, musisz zadbać o odpowiednią optymalizację pliku robots. Jak go zrobić? Wystarczy, że uruchomisz zwykły notatnik, wprowadzisz podstawowe dyrektywy oraz dodasz plik robots do głównego katalogu witryny. Ważne jest, aby zgłosić istnienie pliku robots.txt w panelu Google Search Cosnole.

Adres URL prowadzącego do naszego robots.txt – https://www.studiolokomotywa.pl/robots.txt – tak może wyglądać standardowy plik robots.txt dla robota google, stworzony z myślą o stronie opartej na skrypcie WordPress.

Dlaczego plik robots.txt jest tak ważny?

Przede wszystkim należy zwrócić uwagę na to, że plik robots txt jest pierwszym, do którego zagląda robot Google. Warto więc już na samym wstępie przekazać robotom wyszukiwarek informacje o tym, które zasoby obejmujące stronę internetową są warte eksploracji, a które są mniej istotne. Czyli np. które adresy URL roboty indeksujące powinny odwiedzić.

Robots.txt pozwala na optymalne zarządzanie zasobami indeksującymi. Chodzi tutaj o to, żeby nie marnować zasobów robotów Google na podstrony, które nie mają żadnego znaczenia z biznesowego punktu widzenia. W przypadku, gdy dana domena ma tysiące podstron – adresów url – całkowite jej indeksowanie może zająć mnóstwo czasu. To przekłada się na wydłużenie czasu, zanim ważne podstrony pojawią się w Google, a także na ich pozycje w Google. Dlatego też eliminując dostęp do mało ważnych zasobów Twojej strony, roboty google przeznaczają ten czas na wertowanie i indeksowanie tych, na których Ci zależy. To optymalizacja crawl budget, czyli budżetu indeksowania witryny.

Przydatne dyrektywy w pliku robots.txt

Poniżej przedstawiamy wytyczne dla robotów, które mogą przydać się podczas zarządzania stroną internetową.

a) Wszystkie roboty indeksujące oraz analizujące Twoją stronę mają dostęp do wszelkich zasobów:

• User-agent: *
• Disallow:

b) Jak zablokować dostęp (disallow) do katalogu z wyłączeniem jednego pliku (za pomocą dyrektywy allow), czyli ten dany adres URL powinien zostać „przeczytany”:

• User-agent: *
• Disallow: /wp-admin/
• Allow: /wp-admin/admin-ajax.php

c) Jak zablokować dostęp robotom w wyszukiwarce Google do plików graficznych? Użyj:

• User-agent: Googlebot
• Disallow: /*.jpg$

d) Zablokowanie dostępu do całego katalogu robotom wyszukiwarki Google:

• User-agent: Googlebot
• Disallow: /moje/

e) Dyrektywa blokująca dostęp do tylko adresu katalogu, ale nie do jego zasobów:

• User-agent: Googlebot
• Disallow: /moje/$

f) Zablokowanie dostępów do określonego adresu URL – robotami indeksującymi Google tu możesz sterować:

• User-agent: Googlebot
• Disallow: /twoj-plik.html

g) Zablokowanie dostępu do całej strony narzędziom crawlującym (np. Ahrefs):

• User-agent: AhrefsBot
• Disallow: /

Większość popularnych CMS do stron oraz sklepów internetowych ma podstawowy plik robots.txt przygotowany poprawnie, choć nie idealnie i nie jest rzecz jasna dopasowany do indywidualnych potrzeb. Na tym polu kuleje Joomla!. Standardowy plik robots.txt w Joomla! blokuje dostęp do wielu zasobów (a nie tak dawno, o zgrozo, blokował pliki graficzne!), co nie pozwala robotom Google na odpowiednią indeksację strony. Zatem należy stworzyć plik robots, który jest dedykowany Joomla!

Sekcja meta – najważniejsze informacje

Sekcja meta znajduje się w źródłowym kodzie html strony internetowej – w nagłówku – przeważnie na jego początku. Dane tam zawarte nie wyświetlają się na stronie internetowej na froncie. Są to wyłącznie wskazówki dla robotów indeksujących, które niosą za sobą kluczowe informacje o danej stronie www. Niektóre znaczniki meta, tzw. meta tagi, jak meta title oraz meta description wyświetlają się w wynikach wyszukiwania przy adresie URL Twojej domeny.

Meta title – kluczowy czynnik rankingowy

Tytuł strony internetowej to nadal jeden z ważniejszych czynników rankingowych. Zawarte w nim słowa kluczowe pomagają zinterpretować robotom Google, o czym jest dana strona www. Meta znaczniki w tym meta title pozwalają dzięki temu na umieszczenie strony na odpowiedniej pozycji w wynikach wyszukiwania. Meta title powinien być nie dłuższy niż ok. 600 px. Warto umieścić w nim jedno, dwa słowa kluczowe oraz nazwę brandu.

Przykład prawidłowego meta tagu title: < title >Pozycjonowanie stron internetowych · Agencja SEO Poznań – Studio Lokomotywa< /title > (bez spacji między nawiasami).

Meta description – opis zwiększający CTR

Opis strony internetowej wyświetlany jest pod adresem URL w wynikach wyszukiwania. Do każdej podstrony masz do dyspozycji aktualnie ilość znaków pomiędzy 155-160. Pod SEO można zawrzeć tam więcej informacji, pod UX nawet nieco mniej znaków, ponieważ na urządzeniach mobilnych wyświetlane jest mniej contentu.

Meta tag description (meta opis) to idealne miejsce, aby rozszerzyć meta title o małą część dodatkowych słów kluczowych, czyli opisać kluczowe obszary działania i zachęcić do wejścia na stronę. Umiarkowane wykorzystanie znaków specjalnych w meta opisie na pewno jeszcze bardziej pomoże w tym zakresie.

Prawidłowy opis strony: < meta name=”description” content=”Pozycjonowanie · Pełna Optymalizacja · Jasne Zasady · 10 Lat Doświadczenia · Skontaktuj się z nami! · Tel: 537 446 550 ➤ ul. Mickiewicza 33, Poznań.”/ > (bez spacji między nawiasami).

Meta keywords – archaiczny sposób na wyższe pozycje

Jeszcze kilka lat temu ten tag był jednym z ważniejszych elementów optymalizacji SEO i bardzo wspomagał pozycjonowanie strony internetowej. Poprzez umieszczenie w nim dziesiątek słów kluczowych można było osiągać dobre pozycje. Z uwagi na liczne nadużywania tegoż ze strony pozycjonerów Google przestała brać ten tag pod uwagę. Niektórzy go zostawili dla testów, niektórzy liczą, że może kiedyś znów zadziała, inni usunęli ze stron. Pozostawienie jednego słowa kluczowego nie zaszkodzi, a jest to jakiś sposób na zagęszczenie frazy kluczowej w kodzie. Nie zalecamy jednak zwracać na niego szczególnej uwagi, gdyż czas ten trzeba przeznaczać na optymalizację innych elementów.

Meta tag robots – dyrektywy dla Google

Przy pomocy różnego rodzaju meta tagów ,,robots” możesz zarządzać procesem indeksacji. Google rozumie poniższe tagi oraz wartości:

< meta name=”robots” content=”WARTOŚĆ” / > (bez spacji między nawiasami)

W miejsce WARTOŚĆ można wstawić jedną z poniższych dyrektyw:

• 1. all – pozwalamy na indeksację wszystkich zasobów,
• 2. index, follow – jak wyżej; częściej używany niż punkt 1,
• 3. follow – zostaną zaindeksowane linki w celu późniejszego odwiedzenia przez roboty,
• 4. index, nofollow – strona zostanie zaindeksowana, ale linki wewnętrzne już nie,
• 5. noindex, follow – zaindeksowane zostaną tylko linki, ale nie podstrony. Często wykorzystywany tag przy kolejnych stronach paginacji oraz politykach prywatności/cookies,
• 6. noindex – strona nie zostanie zindeksowana,
• 7. noindex, nofollow – roboty nie będą indeksować żadnych zasobów.