Crawl-Budget

Was ist das Crawl-Budget bei Google?

Das Crawl-Budget beschreibt, wie viel Zeit und Ressourcen Google für das Crawling einer einzelnen Website aufwendet. Begrenzt sind beide laut Google, weil das Web zu groß ist, um jede öffentlich zugängliche URL zu erfassen. Die Zuteilung je Website definiert Google in seiner deutschen Dokumentation als Crawling-Budget, in der Fachsprache heißt sie meist Crawl-Budget oder englisch crawl budget.

Als Website gilt für die Crawler von Google ein einzelner Hostname. Die Adressen www.example.com und ratgeber.example.com haben also getrennte Crawl-Budgets, obwohl sie zur selben Domain gehören. Eine feste Zahl, die Google einer Website zuteilt und mitteilt, gibt es nicht. Das Crawl-Budget regelt außerdem nur, was Google abruft. Ob eine gecrawlte Seite in den Index kommt, entscheidet Google erst danach, wenn es die Seite bewertet und Duplikate zusammengefasst hat.

Wann ist das Crawl-Budget für SEO relevant?

Für die SEO wird das Crawl-Budget relevant, wenn eine Website mehr URLs hat oder sich häufiger ändert, als der Googlebot zeitnah abrufen kann. Google richtet seinen Leitfaden zur Optimierung des Crawling-Budgets an drei Arten von Websites.

• Große Websites mit mehr als 1 Million einzelnen Seiten, deren Inhalt sich etwa einmal pro Woche ändert.
• Mittelgroße Websites mit mehr als 10.000 einzelnen Seiten, deren Inhalt sich täglich ändert.
• Websites mit vielen ungecrawlten URLs, bei denen die Search Console einen Großteil aller URLs unter Gefunden – zurzeit nicht indexiert führt. Google kennt diese Adressen, hat sie aber noch nicht abgerufen.

Die Zahlen sind laut Google ungefähre Werte zur Einordnung und keine Grenzwerte. In der Finanzbranche können etwa Vergleichsportale mit vielen Filterseiten und täglich wechselnden Konditionen solche Größen erreichen. Auch kleinere Websites können betroffen sein, wenn ihre Software Seiten automatisch über URL-Parameter erzeugt, worauf Google schon 2017 hinwies.

Muss sich eine kleine Website um das Crawl-Budget kümmern?

Eine kleine Website muss sich in der Regel nicht um das Crawl-Budget kümmern. Werden neue Seiten am Tag ihrer Veröffentlichung gecrawlt, ist das Budget laut Google kein Thema, und Websites mit weniger als ein paar Tausend URLs werden meist effizient gecrawlt. Den Bericht zur Crawling-Statistik brauchen Websites mit weniger als 1.000 Seiten laut Search-Console-Hilfe wahrscheinlich nicht. Für die Google-Suche reicht es laut Google, die Sitemap aktuell zu halten und regelmäßig den Bericht zur Seitenindexierung zu prüfen.

Kleine Websites werden auch nicht seltener gecrawlt als große. Stellt eine Website wichtige Inhalte bereit, die sich häufig ändern, crawlt Google sie laut eigener Aussage unabhängig von ihrer Größe häufig. Bleiben wichtige Seiten trotzdem ungecrawlt, liegt das laut Google daran, dass Google sie nicht kennt, dass sie blockiert sind, dass der Server nicht zuverlässig erreichbar ist oder dass Google den Server nicht überlasten will.

Crawl-Rate und Crawl-Bedarf

Das Crawl-Budget ergibt sich aus der Crawl-Rate, die festlegt, wie viel der Googlebot crawlen kann, und dem Crawl-Bedarf, der festlegt, wie viel Google crawlen will. In Googles Dokumentation heißen beide Größen Crawling-Kapazitätslimit und Crawling-Bedarf. Ist der Bedarf gering, crawlt Google eine Website laut Dokumentation auch dann weniger, wenn das Kapazitätslimit noch nicht erreicht ist.

Crawl-Rate: was der Server verträgt

Die Crawl-Rate, bei Google Crawling-Kapazitätslimit oder Hostlast genannt, begrenzt die Gesamtzeit, die ein Server Verbindungen für Google offenhält. Dabei zählen die Zahl der parallelen Verbindungen und ihre Dauer. Jede Website startet laut Google mit demselben vorsichtigen Limit, das Google automatisch anhebt, solange die Website mehr Anfragen gut verkraftet. Bleiben Antwortzeiten, Latenz und Time to First Byte stabil oder sinken sie, steigt das Limit. Antwortet der Server langsamer, mit Serverfehlern (5xx) oder mit dem Statuscode 429 für zu viele Anfragen, sinkt es. Wie sich die Serverantwort beschleunigen lässt, beschreibt der Artikel zum Pagespeed.

Das Limit gilt für alle Crawler von Google zusammen. Ruft etwa AdsBot viele Ziele dynamischer Suchanzeigen ab, bleibt weniger Kapazität für den Googlebot. Crawler anderer Anbieter wie Bingbot oder die Bots von KI-Suchen rechnet Google nicht ein, sie belasten aber denselben Server.

Begrenzen lässt sich die Crawl-Rate in der Search Console seit dem 08.01.2024 nicht mehr. Der Googlebot verlangsamt laut Google fast sofort von selbst, wenn ein Server dauerhaft Fehler meldet oder deutlich langsamer antwortet. Im Notfall empfiehlt Google, Anfragen des Googlebots vorübergehend mit 503 oder 429 zu beantworten, aber höchstens etwa zwei Tage lang. Sonst verringert Google das Crawling dauerhaft und entfernt betroffene URLs aus dem Index.

Crawl-Bedarf: was Google crawlen will

Der Crawl-Bedarf (englisch crawl demand) beschreibt, wie viele URLs einer Website Google abrufen will. Beim Googlebot hängt er laut Google von Größe, Aktualisierungshäufigkeit, Seitenqualität und Relevanz einer Website im Vergleich zu anderen ab. Drei Faktoren lassen sich beeinflussen.

• Wahrgenommenes Inventar. Ohne weitere Hinweise versucht Google, alle oder die meisten bekannten URLs einer Website zu crawlen. Sind viele davon Duplikate, entfernt oder unwichtig, verliert Google Zeit. Laut Google ist das der Faktor, der sich am stärksten beeinflussen lässt.
• Beliebtheit. URLs, die im Internet beliebter sind, crawlt Google tendenziell häufiger, um sie aktuell zu halten.
• Aktualität. Google versucht, Dokumente so oft zu crawlen, dass Änderungen schnell auffallen.

Ereignisse, die die ganze Website betreffen, steigern den Bedarf zusätzlich. Nach einem Umzug muss Google die Inhalte unter den neuen Adressen erneut verarbeiten. Jeder Google-Crawler hat außerdem einen eigenen Bedarf, AdsBot etwa bei dynamischen Anzeigenzielen und der Shopping-Crawler bei Produkten aus Merchant-Feeds.

Crawl-Tiefe und Klicktiefe

Die Crawl-Tiefe gibt an, wie vielen Links ein Crawler von der Startseite aus folgen muss, um eine Seite zu erreichen. Aus Sicht der Nutzer heißt dieselbe Zahl Klicktiefe. Eine Seite, die direkt von der Startseite verlinkt ist, hat die Tiefe 1. Die Startseite ist laut Google oft die wichtigste Seite einer Website, direkt von ihr verlinkte Seiten hält Google deshalb eventuell für wichtiger und crawlt sie häufiger. Ein höheres Ranking folgt daraus laut Google nicht.

Tief liegende Seiten entstehen vor allem in langen Listen. Blättert eine Paginierung nur über „Weiter“, wächst die Klicktiefe mit jeder Folgeseite um eins. Wie sich solche Wege verkürzen lassen, zeigen der Artikel zur Paginierung mit Sprunglinks und Unterkategorien und der Artikel zur internen Verlinkung mit einer flacheren Linkstruktur.

Crawl-Budget optimieren

Das Crawl-Budget optimiert, wer Google weniger überflüssige URLs anbietet, entfernte Seiten sauber abmeldet und den Server schnell antworten lässt. Aus Googles Leitfaden zur Optimierung ergeben sich dafür vor allem sieben Maßnahmen.

• URLs ohne Suchwert ausschließen. Filter-, Sortier- und Parameter-URLs, die nicht in der Suche erscheinen sollen, nimmt eine Disallow-Regel in der robots.txt aus dem Crawling. Zum Bündeln von Duplikaten taugt sie nicht, denn eine blockierte URL ruft Google nicht ab und sieht deshalb auch ihren Canonical-Tag nicht.
• Duplikate konsolidieren. Google soll einzigartige Inhalte crawlen statt Varianten derselben Seite. Ursachen und Lösungen beschreibt der Artikel zu Duplicate Content. Varianten, die erreichbar bleiben müssen, etwa Links mit Tracking-Parametern, verweisen per Canonical-Tag auf die Hauptversion. Das Crawling dieser Varianten kann dann mit der Zeit sinken.
• 404 oder 410 für entfernte Seiten. Google vergisst eine bekannte URL nicht, wertet den Statuscode 404 aber als starkes Signal, sie nicht erneut zu crawlen. Per robots.txt blockierte URLs bleiben dagegen lange in der Warteschlange und werden wieder abgerufen, sobald die Regel fällt.
• Soft 404 beheben. Fehlerseiten, die den Statuscode 200 senden, crawlt Google weiter. Der Bericht zur Seitenindexierung listet sie.
• Weiterleitungsketten kürzen. Jede Station einer Kette ist eine eigene Anfrage. Interne Links zeigen deshalb direkt auf das Ziel, und eine Weiterleitung führt ohne Zwischenstation dorthin.
• Sitemap aktuell halten. Sie nennt alle URLs, die Google crawlen soll, mit lastmod für geänderte Inhalte.
• Schnell antworten. Kurze Antwortzeiten und schnelles Rendern können mehr Abrufe zulassen. Schneller ladende Seiten geringer Qualität sind für Google laut eigener Aussage aber kein Anlass, mehr von einer Website zu crawlen. Antwortet der Server bei unveränderten Seiten mit dem Statuscode 304 (Not Modified), nutzt Google die gespeicherte Fassung und spart Bandbreite.

Mehr Crawl-Budget gibt es laut Google auf zwei Wegen. Meldet das URL-Prüftool Hostlast überschritten, stößt der Googlebot an die Grenze des Servers, dann helfen zusätzliche Serverressourcen. Langfristig zählt die Qualität, denn Google verteilt die Crawling-Ressourcen für die Suche unter anderem nach Beliebtheit, Nutzen und Einzigartigkeit der Inhalte. Durch Disallow frei gewordenes Budget gibt Google nur dann an andere Seiten, wenn die Website ihr Kapazitätslimit erreicht hatte. Zum vorübergehenden Umlenken des Budgets eignet sich die robots.txt deshalb nicht.

Filterseiten und Facettennavigation

Filterseiten führen Googles Liste der URLs mit geringem Mehrwert an, weil eine Facettennavigation mit URL-Parametern nahezu unbegrenzt viele Adressen erzeugen kann. Laut Google rufen Crawler meist sehr viele solcher URLs ab, bevor sie erkennen, dass diese nutzlos sind, und haben dann weniger Zeit für neue, nützliche Seiten. Für die SEO von Filterseiten empfiehlt Google zwei Wege. Ohne Engpass beim Crawling genügt für Filter- und Sortiervarianten der Canonical-Tag, wie ihn der Artikel zu Duplicate Content beschreibt. Binden Filter-URLs dagegen einen großen Teil der Crawling-Anfragen, ist die Disallow-Regel das wirksamere Mittel.

• Filter ohne Suchwert nicht crawlen lassen. Eine Disallow-Regel in der robots.txt verhindert den Abruf, ebenso Filter im URL-Fragment hinter dem Zeichen #, denn Fragmente beachtet Google beim Crawling in der Regel nicht. Canonical-Tag und nofollow an Filterlinks wirken laut Google langfristig schwächer.
• Indexwürdige Filter sauber aufbauen. Parameter werden mit & getrennt, Filter im Pfad stehen immer in derselben Reihenfolge, und Kombinationen ohne Ergebnis antworten mit dem Statuscode 404.

Beispiel: Filter eines Festgeld-Vergleichs

Ein fiktiver Festgeld-Vergleich unter example.com/festgeld bietet drei Filter, nämlich sechs Laufzeiten von 3 bis 60 Monaten, fünf Anlagebeträge von 5.000 bis 100.000 Euro und vier Sortierungen. Erzeugt jede Auswahl eine Adresse wie /festgeld?laufzeit=12&betrag=10000&sortierung=zins, entstehen aus einer einzigen Kategorieseite 6 × 5 × 4 = 120 Filter-URLs. Lassen sich Filter auch einzeln setzen, kommen weitere Kombinationen hinzu.

Welche Filter eine eigene, indexierbare URL verdienen, zeigt die Suchnachfrage. Laut einer KKP-Abfrage bei DataForSEO vom 05.10.2026 wird nach Laufzeiten oft gesucht, etwa 1.600-mal im Monat nach „festgeld 6 monate“ und 3.600-mal nach „festgeld 1 jahr“. Nach Anlagebeträgen wird kaum gesucht, nach „festgeld 10000 euro“ rund 50-mal, und für eine Sortierung liefert die Abfrage gar keinen Wert. Die sechs Laufzeiten erhalten deshalb eigene Landingpages mit festen Pfaden wie /festgeld/12-monate, auf die die Filterlinks direkt zeigen. Betrags- und Sortier-URLs nimmt eine Disallow-Regel aus dem Crawling.

Die zugehörige robots.txt schließt alle URLs aus, die einen Betrags- oder Sortierparameter enthalten. Das Muster folgt Googles Beispiel für Facettennavigation.

User-agent: *
Disallow: /*?*betrag=
Disallow: /*?*sortierung=

Statt 120 und mehr Filter-URLs je Kategorie crawlt der Googlebot damit die Kategorieseite, die sechs Laufzeit-Seiten und deren Folgeseiten. Folgeseiten wie ?seite=2 bleiben crawlbar, damit Google alle Angebote findet. Newsletter-Links mit Tracking-Parametern betrifft die Regel nicht, sie bündelt weiter der Canonical-Tag der Zielseite.

Crawl-Budget überwachen

Überwacht wird das Crawl-Budget mit dem Bericht Crawling-Statistik der Google Search Console und bei großen Websites zusätzlich mit den Server-Logfiles. Der Bericht steht in den Einstellungen einer Property, aber nur für Properties auf Stammebene, also für Domain-Properties oder URL-Präfixe wie https://example.com. Eine Zahl für das Crawl-Budget nennt er nicht, aber er zeigt mit vier Kennzahlen, wie viel Google tatsächlich crawlt.

• Crawling-Anfragen insgesamt. Alle Anfragen an URLs der Website, erfolgreich oder nicht, samt eigener Ressourcen wie Bildern und CSS. Jede Station einer Weiterleitungskette zählt einzeln. Ältere Anleitungen nennen noch die Kennzahl Pro Tag gecrawlte Seiten. Seit der neuen Fassung vom 24.11.2020 zählt der Bericht Anfragen.
• Gesamtgröße des Downloads. Die beim Crawlen heruntergeladenen Bytes. Ressourcen, die mehrere Seiten nutzen, fordert Google nur beim ersten Mal an.
• Durchschnittliche Reaktionszeit. Der Mittelwert über alle abgerufenen Ressourcen, jede als eigene Antwort gezählt.
• Hoststatus. Ob Google in den letzten 90 Tagen Probleme beim Abruf der robots.txt, bei der DNS-Auflösung oder bei der Serververbindung hatte.

Darunter schlüsselt der Bericht die Anfragen nach Antwort, Dateityp, Crawling-Zweck und Googlebot-Typ auf. Der Zweck trennt Erkennung, das erste Crawlen einer URL, von Aktualisierung, dem erneuten Crawlen bekannter Seiten. Ein Klick auf eine Zeile zeigt Beispiel-URLs, etwa für Weiterleitungen oder Serverfehler.

Anzeichen für ein zu niedriges Crawl-Budget

Ein zu niedriges Crawl-Budget zeigt sich daran, dass Google wichtige neue oder geänderte Seiten nicht in angemessener Zeit crawlt. Bei den meisten Websites dauert es laut Google einige Tage, bis neue Seiten bemerkt werden, mit einem Crawl am selben Tag ist nur bei Nachrichtenseiten und ähnlich zeitkritischen Inhalten zu rechnen. Vier Anzeichen sprechen für einen Engpass.

• Ein Großteil der URLs steht im Bericht zur Seitenindexierung unter Gefunden – zurzeit nicht indexiert.
• Das URL-Prüftool meldet Hostlast überschritten, der Googlebot kann also nicht so viele URLs crawlen, wie er gefunden hat.
• Der Hoststatus meldet Probleme, und die Anfragen übersteigen in den Diagrammen zur Hostverfügbarkeit die rote Linie für das Limit.
• Die Logfiles zeigen, dass der Googlebot viele Filter- oder Parameter-URLs abruft, wichtige Seiten aber selten.

Nicht jedes Indexierungsproblem ist ein Budgetproblem. Seiten im Status Gecrawlt – zurzeit nicht indexiert hat Google bereits abgerufen. Dort entscheidet nicht das Crawling, sondern die Bewertung des Inhalts.

Crawl-Budget mit Logfiles analysieren

Logfiles zeigen für jede URL, ob und wann der Googlebot sie abgerufen hat. Den Crawling-Verlauf der Search Console kann man laut Google dagegen nicht nach URL oder Pfad filtern. Für eine Crawl-Log-Analyse wird das Server-Log auf Anfragen des Googlebots gefiltert und nach Pfaden ausgezählt. Für ein Apache- oder Nginx-Log im verbreiteten Combined-Format genügt dafür eine Befehlszeile, die die 20 am häufigsten abgerufenen Pfade auflistet.

grep "Googlebot" access.log \
  | awk '{print $7}' \
  | sort | uniq -c | sort -rn | head -20

Weil sich der User-Agent fälschen lässt, gehören in eine belastbare Auswertung nur Zugriffe, deren IP-Adresse tatsächlich zu Google gehört. Tools für die Logfile-Analyse und das laufende Monitoring taugen für das Crawl-Budget, wenn sie Googlebot-Zugriffe so verifizieren, URLs nach Mustern wie Verzeichnissen oder Parametern gruppieren und die Abrufe mit der Liste der wichtigen Seiten abgleichen, etwa mit der Sitemap oder einem eigenen Crawl. Der Log File Analyser von Screaming Frog erfüllt diese Kriterien. Einen Checker, der das Crawl-Budget einer Website als Zahl ausgibt, kann es nicht geben, weil Google den Wert nicht veröffentlicht.

Mythen zum Crawl-Budget

Fünf verbreitete Annahmen zum Crawl-Budget stimmen laut Googles Dokumentation nicht oder nur eingeschränkt.

• Noindex spart Crawl-Budget. Kurzfristig nicht, denn Google muss eine Seite abrufen, um das noindex zu lesen. Für Seiten, die gar nicht gecrawlt werden sollen, rät Google von noindex ab und zur robots.txt. Langfristig kann noindex laut Google indirekt entlasten, wenn die Seiten aus dem Index fallen.
• Per robots.txt blockierte URLs verbrauchen trotzdem Budget. Laut Google wirken sich nicht zugelassene URLs nicht auf das Crawl-Budget aus. Die Disallow-Regel ist deshalb das Mittel für URLs, die Google dauerhaft nicht crawlen soll.
• Mit crawl-delay lässt sich der Googlebot bremsen. Google verarbeitet diese Regel der robots.txt nicht.
• Parameter lassen sich mit dem URL-Parameter-Tool steuern. Google hat das Tool im April 2022 eingestellt und ordnet Parameter seitdem selbst ein. Mehr Kontrolle bieten Regeln in der robots.txt.
• 404-Fehler verschwenden Crawl-Budget. Antworten mit einem 4xx-Statuscode außer 429 verschwenden laut Google nichts, weil Google nur den Statuscode erhält.

Gratis Download

AI Search Guide: Sichtbar in ChatGPT & Co.

Der Praxis-Guide zeigt auf 164 Seiten, wie eine Brand in ChatGPT, Google AI Overviews, Gemini und Perplexity sichtbar wird, von den Grundlagen über Messung und KPIs bis zu konkreten Maßnahmen.

Kostenlos herunterladen →