Indeksowanie stron w Google — na czym polega i jak je przyspieszyć?

Kiedy piszę ten artykuł, na świecie jest już 1 959 436 252 stron internetowych (według internet live stats). Jednak samo zaprojektowanie i opublikowanie witryny nie wystarczy, żeby użytkownicy sieci mogli na nią trafić z wyszukiwarki. Będzie to możliwe dopiero po zaindeksowaniu strony. Na czym polega ten proces i jak go usprawnić? Przeczytacie w tym artykule.

Jak Google indeksuje strony internetowe?

Choć niektórym może się tak wydawać, wyszukiwarki nie są wszechwiedzące. Prezentują tylko informacje, które zostały im wcześniej udostępnione. Proces pozyskiwania tych informacji i dodawania ich do bazy danych nazywa się właśnie indeksacją.

Innymi słowy, roboty skanujące Google (tzw. spidery, crawlery) skanują strony w poszukiwaniu nowych treści, „prześwietlają” je i zapamiętują, który adres URL jest najbardziej dopasowany do danej frazy kluczowej. Indeks wyszukiwarki jest ogromny (liczba istniejących stron z początku artykułu nie jest już aktualna, gdy piszę ten akapit), a Google wie, jakie strony mogą być odpowiedzią na konkretne zapytanie użytkowników. Warto zwrócić uwagę na to, że Google skanuje nie tylko nowe witryny, ale też te, które już istnieją w poszukiwaniu aktualizacji.

A jak często Google indeksuje? Odpowiedź na to pytanie nie jest jednoznaczna. Google może każdego dnia indeksować 5 stron w danej witrynie, 5000 stron w innej, a 5 000 000 w jeszcze kolejnej. Zależy to od budżetu indeksowania witryny (crawl budget). Na budżet wpływa między innymi rozmiar witryny, jej stanu, braku lub obecności błędów oraz od liczby linków prowadzących. Ile może więc trwać indeksowanie strony? Webmasterzy wskazują, że od kilku godzin nawet do paru miesięcy. Dlaczego jedne adresy mogą indeksować się szybciej niż drugie? Przyczyną może być np. fakt, że witryna przez pewien czas nie była aktualizowana, dlatego wyszukiwarka nie wysyła na nią swojego robota. Z tego względu, gdy aktualizacja się pojawi, mini trochę czasu, zanim robot Google na nią trafi.

Problemy z indeksowaniem — dlaczego mogą występować?

Istnieje kilka podstawowych przyczyn występowania problemów z indeksowaniem, na które właściciel strony może wpłynąć.

Noindex

Jednym z najpowszechniejszych i jednocześnie najprostszych do wyeliminowania problemów z indeksowaniem jest wartość noindex ustawiona w parametrze robots strony. Ta wartość to sygnał dla robotów Google, aby nie indeksowały danej podstrony. Jeżeli zablokowano stronę przed indeksowaniem korzystając z pliku robots.txt, wystarczy usunąć tagi blokujące robota z pliku i strona wróci do indeksu. Upewnijcie się też, czy sekcja meta robots nie zawiera noindex.

Strona jest nowa i musi zapracować na „uwagę” robotów

Google nie poświęca nowym stronom tyle samo czasu, ile tym z dłuższym stażem i większym autorytetem. Rozwiązaniem jest stała praca nad witryną, dodawanie wartościowego contentu i naturalne budowanie jakościowego profilu linków. Z czasem Google zacznie ufać stronie, będzie częściej ją odwiedzać i indeksować. 

Duplikacja

Google nie widzi sensu indeksowania dwa razy takiej samej treści. Dlatego kopiowanie treści z innych stron jest nie tylko nieetyczne, ale też „nie przejdzie”, ponieważ wyszukiwarka rozpozna duplikat i nie zaindeksuje powielonej podstrony. Problem z indeksowaniem może wynikać też z niskiej jakości treści konkretnych podstron (tzw. thin content).

Strona długo się ładuje

Roboty nie chcą marnować czasu i zasobów na wolno ładujące się strony. Jeśli napotkają taki problem, z dużym prawdopodobieństwem porzucą indeksowanie. Wyszukiwarka uznaje też wolno ładujące się strony za niewarte indeksacji, ponieważ zależy jej na dostarczaniu użytkownikom wyników zoptymalizowanych pod kątem szybkości.

Jak usprawnić indeksowanie strony?

Znacie już powszechne przyczyny powodujące problemy z indeksacją. Pora poznać sposoby na ich rozwiązanie i poprawienie tempa indeksacji.

Posłużcie się Google Search Console i spróbujcie ręcznej indeksacji

GSC to narzędzie do sprawdzania adresów URL, które udostępnia szczegółowe informacje o skanowaniu, indeksowaniu i wyświetlaniu stron bezpośrednio z indeksu Google. Dodajcie swoją witrynę do GSC poprzez wpisanie jej adresu URL i weryfikację. Szczegóły, jak zacząć korzystać z tego darmowego narzędzia znajdziecie TUTAJ.

GSC posiada sekcję poświęconą indeksowaniu, pozwala też zaindeksować każdy adres URL ręcznie.

Jak to zrobić?

• Zalogujcie się do swojego konta na Google Search Console 
• Wklejcie adres URL nowej podstrony (np. świeżego wpisu blogowego) w oknie wyszukiwania
• Gdy narzędzie pokaże brak indeksacji, kliknijcie „Wyślij prośbę o indeksację”
• Żądanie zostanie przetworzone, wystarczy poczekać, aż roboty sieciowe odwiedzą i zaindeksują stronę

Naprawcie błędy techniczne na stronie i przyspieszcie ją

Wiecie już, że szybkość ładowania strony realnie wpływa na jej indeksację. Dlatego postarajcie się popracować na tym aspektem. To, jak długo ładuje się strona, można sprawdzić np. w PageSpeed czy GTmetrics. Narzędzia te wskażą, jakie problemy spowalniają witrynę i jak poprawić jej wynik. Również wyeliminowanie błędów technicznych strony może przyspieszyć tempo jej indeksacji. Skupcie się przede wszystkim na eliminacji duplikatów. Zweryfikujcie, czy treści wyświetlane są tylko pod jednym adresem i zapanujcie nad przekierowaniami.  

Zadbajcie o logiczną strukturę strony

Odpowiednio przejrzysta struktura strony przyspieszy indeksację całego serwisu. Zastosujcie strukturę drzewa, gdzie najważniejsze strony nie znajdą się dalej, niż trzy kliknięcia od głównej. Linkowanie wewnętrzne powinno pomagać użytkownikom i robotom odkryć stronę i intuicyjnie się po niej poruszać. Poza tym przygotowanie odpowiedniej struktury strony pozwoli na uniknięcie błędów z duplikacją treści oraz kanibalizacją słów kluczowych.

Jak sprawdzić, czy podstrona jest zaindeksowana?

Żeby sprawdzić, czy dana podstrona jest już w indeksie, wystarczy, że wejdziecie w Google i użyjecie następującego operatora: site:nazwa-twojej-domeny.pl. Jeśli wśród wyników wyszukiwania pojawi się Wasza strona, to została zaindeksowana. Pod paskiem wyszukiwania znajdziecie też informację o liczbie wszystkich podstron, do których dotarł crawler.

Status indeksowania można sprawdzić także za pomocą wspomnianego już Google Search Console. Służy do tego raport Stan w indeksie. Dowiecie się z niego, czy wystąpiły jakiekolwiek problemy z indeksowaniem.

Przepis na indeksację — cierpliwość i praca nad witryną

Wiecie już, czym jest indeksacja i co może mieć wpływ na jej tempo. Pamiętajcie, że sam fakt posiadania strony nie jest równoznaczny z jej widocznością w Google! Indeksacja to podstawa — bez niej nie można rozpocząć działań pozycjonujących witrynę i docierania do nowych użytkowników. Poświęćcie więc trochę czasu, aby przyspieszyć cały proces i przyciągnąć roboty na swoją stronę. Nie panikujcie też, gdy indeksacja trwa dłużej, niż przypuszczaliście — choć wyszukiwarka przyzwyczaiła nas do błyskawicznego dostępu do informacji, również ona ma swoje ograniczenia.