Was ist ein Crawl-Budget und warum ist es aus SEO-Sicht wichtig?

Wenn Sie unsere Artikel lesen und interessiert sind an SEOdann wissen Sie, dass eine Unterseite erst dann in den Suchergebnissen erscheint und Besucher auf die Website lockt, wenn Google sie indexiert hat. Tatsächlich kann dieser Prozess bis zu Wochen dauern. Dies wiederum kann Ihre SEO-Bemühungen behindern. Wenn Ihre Website nicht ordnungsgemäß angezeigt wird, haben Internetnutzer zunächst keine Möglichkeit, sie in den organischen Suchergebnissen zu finden. Aus diesem Grund durchforsten die unermüdlichen Bots von Google ständig das Web auf der Suche nach wertvollen Inhalten, die sie indizieren können, aber auch sie haben nur begrenzte Möglichkeiten. Mit diesen Einschränkungen ist der geheimnisvolle Begriff Crawl-Budget verbunden. Erfahren Sie mehr darüber, lesen Sie, warum Crawl-Budget aus SEO-Sicht wichtig ist und wie Sie seine Optimierung beeinflussen können.

Crawl-Budget - Definition und verwandte Begriffe

Obwohl das Konzept des Crawl-Budgets auf den ersten Blick kompliziert erscheinen mag, wird es nach der Lektüre dieses Artikels kein Rätsel mehr für Sie sein. Beginnen wir mit der Tatsache, dass selbst innerhalb der SEO-Gemeinschaft selbst, gibt es eine Divergenz in ihrem Verständnis. Auf der einen Seite wird Crawl-Budget (oder auf Polnisch - Budget für die Indexierung der Website) ist definiert als die Zeit, die die Google-Roboter mit der Indexierung verbringen. Andererseits wird sie als die Anzahl der Seiten betrachtet, die täglich von den Bots indexiert werden.

Für die Zwecke dieses Artikels wollen wir uns auf die einfache Definition stützen, die von den Fachleuten der YoastSEO:

Das Indexierungsbudget ist die Anzahl der Seiten einer bestimmten Website, die Google in einem bestimmten Zeitraum indexieren wird.

Diese Zahl schwankt leicht von Tag zu Tag, ist aber für eine bestimmte Website relativ konstant. Google kann täglich 6 Seiten einer bestimmten Website indexieren, 5.000 Seiten einer anderen und 3.000.000 Seiten einer anderen. Wie viel Budget eine Website hat, d.h. die Anzahl der indizierten Seiten, hängt u.a. von ihrer Größe, ihrem Zustand (Anzahl der Fehler) und der Anzahl der zu ihr führenden Links ab.

Es lohnt sich, gleich zu Beginn auf zwei weitere Dinge hinzuweisen. Erstens: Wenn Sie eine kleinere Website besitzen, brauchen Sie sich um das Indexierungsbudget keine Sorgen zu machen. Natürlich ist es wichtig zu wissen, wie hoch es ist, aber Google selbst weist darauf hin, dass wenn die Website weniger als ein paar tausend Adressen hat URLwerden in den meisten Fällen effektiv indiziert. Zweitens führte das Interesse am Thema Crawl-Budget bei SEO-Fachleuten und Webmastern dazu, dass Google 2017 einen Blogbeitrag veröffentlichte Die Bedeutung des Indexierungsbudgets für Googlebot. In diesem Eintrag wurde erklärt, wie Google über das Indexierungsbudget denkt und wie es berechnet wird.

Kriechbedarf

Die Anzahl der Seiten, die von den Crawlern indiziert werden, wird durch zwei Faktoren bestimmt. Der erste dieser Faktoren, d. h. Kriechgangbedarf ist Kriechgangbedarf. Die Popularität von Seiten, ob sie nun aktuell sind oder nicht, kann die Nachfrage nach Indizierung beeinflussen. Worin besteht diese Popularität? Natürlich an der Häufigkeit der Links auf die Seite. Je mehr wertvolle externe Links zu einer Seite führen, desto häufiger wird sie indiziert.

Grenze der Kriechgeschwindigkeit

Er weist darauf hin, in welchem Umfang die Google-Roboter die Website scannen können, ohne ihre Leistung zu beeinträchtigen (ohne die Server zu überlasten). Die Crawl-Rate kann in Abhängigkeit von mehreren Faktoren steigen und fallen. Der erste dieser Faktoren ist Gesundheit kriechendie unter anderem die Anzahl der Fehler berücksichtigt, auf die Google bei der Indizierung stößt. Reagiert die Website schnell, erhöht sich das Limit. Reagiert die Website langsamer oder mit Fehlern, sinkt das Limit und der Googlebot indexiert weniger. Der zweite Faktor, der sich auf das Limit für die Crawl-Rate auswirkt, ist die Präferenz des Website-Besitzers. Er hat die Möglichkeit, die Geschwindigkeit, mit der der Googlebot seine Website indexiert, in einem Google SuchkonsoleDies ist jedoch nicht empfehlenswert, da Veränderungen allein mehr schaden als nutzen können.

Crawl-Budget einer bestimmten Website - wie kann man es überprüfen?

Sie wissen bereits, was ein Crawl-Budget ist und sind mit den grundlegenden Konzepten vertraut, die damit verbunden sind. Sie fragen sich vielleicht, wie hoch das Crawl-Budget für Ihre Website ist. Sie können dies überprüfen, und Sie brauchen keine fortgeschrittenen technischen Kenntnisse. Gehen Sie einfach zu Google Suchkonsoleklicken Sie dann auf die Registerkarte Indizierung --> Indizierungsstatistiken. Hier finden Sie Informationen darüber, wie viele Seiten Googlebot im Durchschnitt pro Tag für Ihre Website indiziert.

Indexierungsbudget - wovon hängt es ab und wie kann es verbessert werden?

Wie Sie bereits wissen, wird das Crawl-Budget für jede Website individuell gestaltet. Schauen wir uns jedoch die Punkte an, die die Anzahl der Seiten, die Google auf Ihrer Website indexieren kann, tatsächlich erhöhen.

• Verbesserung der unangemessenen Weiterleitungen - Weiterleitungen zeigen den Suchmaschinen-Robotern den Weg. Sie lassen die Bots wissen, welchen Weg sie einschlagen sollen. Je länger und komplizierter die Weiterleitungskette ist, desto nachteiliger ist die Situation. Das Problem komplizierter Weiterleitungen tritt vor allem bei großen Websites auf. Um Ihre Weiterleitungen zu überprüfen, verwenden Sie das Tool ScreamingFrog.

• Beseitigung von 404-Fehlern - ist es offensichtlich, dass gemäß Fehler 404die sie darüber informiert, dass eine Website nicht existiert, reagieren echte Internetnutzer. Sie werden entmutigt und wenden sich an Konkurrenten, die ein besseres Erlebnis bieten. Auch Robots sind 404-Fehlern gegenüber nicht sehr aufgeschlossen, und die Seiten, die sie erzeugen, fallen in der Hierarchie der Scanhäufigkeit. Lesen Sie, wie man sie behebt HIER.
• Geschwindigkeit des Seitenladens - Eine schnellere Leistung der Website verbessert das Nutzererlebnis und erhöht gleichzeitig die Indexierungsgeschwindigkeit. Wenn Ihre Websites schnell geladen werden, hat Googlebot Zeit, mehr Seiten zu besuchen und zu indexieren.
• Beseitigung von doppeltem Inhalt - Google möchte keine Ressourcen verschwenden, indem es mehrere Seiten mit demselben Inhalt indexiert. Stellen Sie also sicher, dass die 100%-Seiten Ihrer Website einzigartige, hochwertige Inhalte sind.
• Blockieren des Zugriffs von Robotern auf minderwertige Unterseiten - wenn Sie Unterseiten haben, die ein Crawl-Budget verwenden können, ohne dass dies erforderlich ist, und die keine Quelle für wertvollen Traffic für die Website sind, erwägen, sie von der Indizierung auszuschließen. Dies kann mit speziellen Attributen im -Abschnitt der ausgewählten Unterseite geschehen: <meta name="robots" Inhalt="noindex, nofollow">.

Crawl budget a SEO - kümmern Sie sich um Ihre Online-Sichtbarkeit!

Einfach ausgedrückt: Wenn eine bestimmte Anzahl von Seiten das Crawl-Budget der Website überschreitet, werden sie nicht indiziert. Und nicht indizierte Seiten werden nicht in den Suchergebnissen angezeigt. Ohne Indexierung besteht keine Chance, dass Webnutzer über die so genannte organische Suche den Weg zu Ihren Seiten finden. Der Zusammenhang zwischen Indizierungsbudget und SEO ist also offensichtlich. Kümmern Sie sich unbedingt um die technische SEO und die in diesem Artikel erwähnten Probleme. Je freundlicher Ihre Website für Crawling-Roboter ist, desto wahrscheinlicher ist es, dass Sie Ihre Traumpositionen in den Suchergebnissen erreichen und keine Indizierungsprobleme haben.