Co to crawl budget i dlaczego jest ważny z punktu widzenia SEO?

Jeżeli czytacie nasze artykuły i interesujecie się SEO, to wiecie, że dana podstrona będzie wyświetlała się w wynikach wyszukiwania i przyciągała ruch do witryny, dopiero gdy Google ją zaindeksuje. W rzeczywistości ten proces może trwać nawet tygodniami. To z kolei może przeszkodzić Waszym SEO-wysiłkom. Przede wszystkim, gdy strona nie będzie się prawidłowo wyświetlać, internauci nie będą mieli możliwości, aby trafić na nią w organicznych wynikach wyszukiwania. Z tego względu niestrudzone boty Google stale przedzierają się przez sieć w poszukiwaniu wartościowych treści, aby je zaindeksować, ale one również mają ograniczone możliwości. To właśnie z tymi ograniczeniami związane jest tajemnicze określenie crawl budget. Dowiedzcie się więcej na jego temat, przeczytajcie, dlaczego crawl budget jest ważny z punktu widzenia SEO i jak można wpłynąć na jego optymalizację.

Crawl budget — definicja i powiązane pojęcia

Choć na pierwszy rzut oka pojęcie crawl budgetu może wydawać się skomplikowane, po przeczytaniu tego artykułu, przestanie być dla Was tajemnicą. Zacznijmy od tego, że nawet w samym środowisku SEO istnieje rozbieżność w jego pojmowaniu. Z jednej strony crawl budget (lub po polsku — budżet indeksowania witryny) określa się jako czas poświęcany przez roboty Google na indeksację. Z drugiej strony rozpatruje się go pod względem liczby podstron zaindeksowanych przez boty w skali jednego dnia.

Na potrzebę tego artykułu przyjmijmy za podstawę dalszych rozważań prostą definicję przedstawioną przez specjalistów z YoastSEO:

Budżet indeksowania to liczba stron danej witryny, które Google zaindeksuje w określonym czasie

Ta liczba zmienia się nieco z dnia na dzień, ale jest stosunkowo stabilna dla konkretnej witryny. Google może każdego dnia indeksować 6 stron w danej witrynie, 5000 stron w innej, a 3 000 000 w jeszcze kolejnej. To, jaki budżet ma dana witryna, czyli liczba indeksowanych stron zależy między innymi od jej rozmiaru, jej stanu (liczby błędów) oraz liczby linków do niej prowadzących.

Warto na początku zaznaczyć jeszcze dwie rzeczy. Po pierwsze, jeśli jesteście właścicielami mniejszych stron internetowych, budżet indeksowania nie jest czymś, o co musicie się martwić. Oczywiście, warto wiedzieć, na czym polega, ale sam Google zaznacza, że jeśli witryna ma mniej niż kilka tysięcy adresów URL, w większości przypadków będzie skutecznie indeksowana. Po drugie, zainteresowanie tematem crawl budgetu wśród specjalistów od SEO i webmasterów zaowocowało opublikowaniem w 2017 roku przez Google wpisu Znaczenie budżetu indeksowania w przypadku Googlebota. Wpis ten wyjaśnił, jak Google myśli o budżecie indeksowania i jak go oblicza.

Crawl demand

Liczbę stron, które będą indeksowane przez crawlery określa się na podstawie dwóch czynników. Pierwszy z nich, czyli crawl demand to popyt na crawlowanie. Popularność stron, ich aktualność lub nieaktualność może wpłynąć na zapotrzebowanie na indeksowanie. Na czym polega wspomniana popularność? Oczywiście na częstotliwości linkowania do strony. Im więcej wartościowych, zewnętrznych odnośników prowadzi do witryny, tym częściej będzie ona indeksowana.

Crawl rate limit

Wskazuje, w jakiej skali roboty Google mogą skanować stronę, jednocześnie nie wpływając na jej działanie (nie przeciążając serwerów). Crawl rate może rosnąć i spadać w zależności od kilku czynników. Pierwszy z nich to crawl health, który bierze pod uwagę między innymi liczbę błędów, jakie Google napotka podczas indeksowania. Jeśli witryna reaguje szybko, limit wzrasta. Jeśli witryna zwalnia lub reaguje błędami, limit spada, a Googlebot indeksuje mniej. Drugi czynnik wpływający na crawl rate limit to preferencje właściciela strony. Ma on możliwość ograniczenia szybkości indeksowania swojej witryny przez Googlebota w Google Search Console, jednak nie jest to zalecane działanie, ponieważ samodzielne zmiany mogą przynieść więcej szkody niż pożytku.

Crawl budget konkretnej strony — jak go sprawdzić?

Wiecie już, czym jest crawl budget i znacie podstawowe pojęcia z nim powiązane. Zastanawiacie się pewnie, jak kształtuje się budżet indeksowania w przypadku Waszej witryny. Możecie to sprawdzić i nie jest wcale potrzebna do tego zaawansowana wiedza techniczna. Wystarczy wejść w Google Search Console, następnie w zakładkę Indeksowanie --> Statystyki indeksowania. W tym miejscu znajdziecie informacje o tym, ile średnio stron indeksuje Googlebot dziennie w przypadku Waszej witryny.

Budżet indeksowania — od czego zależy i jak go poprawić?

Jak już wiecie, crawl budget dla każdej witryny kształtuje się indywidualnie. Przyjrzyjmy się jednak kwestiom, które faktycznie wpływają na zwiększenie liczby stron, które Google może zaindeksować w Waszej witrynie.

• Poprawa niewłaściwych przekierowań — przekierowania wskazują drogę robotom wyszukiwarki. Dzięki nim boty wiedzą, w którą stronę podążać. Im dłuższy i zawiły jest łańcuch przekierowań, tym sytuacja jest bardziej niekorzystna. Problem skomplikowanych przekierowań pojawia się szczególnie w przypadku dużych serwisów. Aby zweryfikować swoje przekierowania, skorzystajcie z narzędzia ScreamingFrog.

• Wyeliminowanie błędów 404 - to oczywiste, jak na błąd 404, który informuje o tym, że dana strona nie istnieje, reagują realni użytkownicy sieci. Zniechęcają się i zwracają się do konkurencji, która zapewnia lepsze doświadczenia. Również roboty nie okazują ciepłych uczuć wobec błędu 404 i strony je generujące spadają w hierarchii częstotliwości skanowania. Przeczytajcie, jak je naprawić TUTAJ.
• Szybkość ładowania strony — szybsze działanie witryny poprawia wrażenia użytkowników, jednocześnie zwiększając szybkość indeksowania. Jeśli Wasze witryny ładują się szybko, Googlebot ma czas na odwiedzenie i zaindeksowanie większej liczby stron.
• Eliminacja zduplikowanych treści — Google nie chce marnować zasobów, indeksując wiele stron o tej samej treści. Dlatego upewnijcie się, że 100% stron witryny to unikalne, wysokiej jakości treści.
• Zablokowanie robotom dostępu do podstron niskiej jakości — jeżeli macie podstrony, które mogą bez potrzeby wykorzystywać crawl budget, a nie są źródłem wartościowego ruchu na stronie, rozważcie wykluczenie ich z indeksowania. Można to zrobić za pomocą specjalnych atrybutów w sekcji <head> wybranej podstrony: <meta name=”robots” content=”noindex, nofollow”>.

Crawl budget a SEO — zadbajcie o swoją widoczność w sieci!

Najprościej mówiąc, jeśli pewna liczba stron przekroczy crawl budget witryny, nie zostaną one zaindeksowane. A niezaindeksowane strony, nie będą pojawiały się wynikach wyszukiwania. Bez indeksacji nie ma szans na to, że użytkownicy sieci trafią do Waszych podstron z tzw. organika. Tak więc zależność między budżetem indeksowania a SEO jest oczywista. Koniecznie zadbajcie o techniczne SEO i kwestie wspomniane w artykule. Im bardziej Wasza strona będzie przyjazna dla robotów crawlujących, tym bardziej prawdopodobne będzie, że uzyskacie wymarzone pozycje w wynikach wyszukiwania i nie doświadczycie problemów z indeksacją.