Crawling

Was bedeutet Crawling?

Crawling bedeutet, dass ein Programm Webseiten selbstständig aufruft, ihren Inhalt lädt und den Links darin zu weiteren Seiten folgt. In der Hilfe zur Search Console definiert Google Crawling als den Vorgang, bei dem ein Crawler neue oder aktualisierte Seiten findet und anfordert. Das Wort stammt vom englischen Verb „to crawl“, das laut Duden eigentlich kriechen oder krabbeln heißt. Crawling ist die englische -ing-Form dazu, wörtlich also das Kriechen. Das eingedeutschte Verb crawlen bedeutet entsprechend, Webseiten mit einem Crawler abzurufen und zu durchsuchen.

Eine deutsche Übersetzung hat sich in der Fachsprache nicht durchgesetzt. Auch Google spricht in seiner deutschen Dokumentation von Crawling, crawlen und Crawlern und nennt als weitere Bezeichnungen Robot, Bot und Spider. Der Duden führt den Crawler in der Bedeutung „zum Durchsuchen von Websites u. Ä. verwendetes Computerprogramm“.

Ein Crawl ist ein einzelner Durchlauf eines Crawlers. Gemeint sein kann der Abruf einer einzelnen Seite durch den Googlebot oder ein Lauf, in dem ein SEO-Tool eine ganze Website abarbeitet. Im Duden steht „das Crawl“ dagegen für den Kraulstil beim Schwimmen. Auch das Verb kraulen geht auf „to crawl“ zurück.

Was ist ein Crawler?

Ein Crawler ist ein Programm, das Webseiten automatisch findet, abruft und auswertet. Für Google ist Crawler der Überbegriff für solche Programme. Davon grenzt Google Fetcher ab, die meist im Auftrag eines Nutzers eine einzelne Anfrage stellen.

Der bekannteste Google-Crawler ist der Googlebot. Der Name steht laut Google für zwei Crawler, den Googlebot für Smartphones und den Googlebot für Computer. Weil Google bei den meisten Websites in erster Linie die mobile Version indexiert, kommt die Mehrheit der Anfragen vom Smartphone-Crawler. Daneben betreibt Google weitere Crawler, etwa für Google Bilder und Google Shopping. Seit November 2025 dokumentiert Google sie auf einer eigenen Website, weil dieselbe Crawling-Infrastruktur auch Produkte wie Google News, Gemini und AdSense versorgt.

Im Server-Log erkennt man einen Crawler an seinem User-Agent, der Kennung, die er bei jeder Anfrage mitschickt. Weil sich diese Kennung fälschen lässt, empfiehlt Google, Zugriffe des Googlebots zusätzlich über die IP-Adresse zu prüfen. Andere Suchmaschinen betreiben eigene Crawler, bei Microsoft Bing heißt der Standard-Crawler Bingbot.

KI-Crawler

KI-Anbieter setzen Bots vor allem zu drei Zwecken ein. Crawler sammeln Trainingsdaten für Sprachmodelle oder füllen einen eigenen Suchindex, Fetcher rufen Seiten live ab, wenn ein Nutzer eine Frage stellt. OpenAI etwa trennt diese Zwecke über die Bots GPTBot, OAI-SearchBot und ChatGPT-User. Zulassen oder sperren lassen sich KI-Crawler über die robots.txt. Für Live-Abrufe gilt das nur eingeschränkt. Bei ChatGPT-User greifen die Regeln laut OpenAI unter Umständen nicht, Perplexity-User ignoriert sie laut Perplexity in der Regel.

Bei der Crawlbarkeit sind KI-Crawler anspruchsvoller als der Googlebot. Laut einer Auswertung von Vercel vom Dezember 2024 führte keiner der großen KI-Crawler von OpenAI, Anthropic und Perplexity JavaScript aus. Manche luden Skriptdateien herunter, ausgeführt wurden sie nicht. Gemini nutzt laut Vercel dagegen die Infrastruktur des Googlebots. Inhalte, die erst per JavaScript im Browser entstehen, bleiben vielen KI-Systemen deshalb verborgen.

Aus Sicht von KKP zeigt erst ein Live-Abruf für eine konkrete Nutzerfrage, dass ein KI-System eine Seite für eine Antwort geholt hat. Trainings-Crawls wirken frühestens mit einer späteren Modellversion. Wer KI-Crawling verstehen und eine Strategie dafür entwickeln will, wertet Live-Abrufe deshalb getrennt von Trainings- und Index-Crawls aus. Wie oft solche Live-Abrufe auf Content-Seiten vorkommen, zeigt eine KKP-Messung im Artikel zum Retrieval, dem Abruf von Quellen für KI-Antworten.

Wie funktioniert Crawling?

Crawling funktioniert in vier Schritten. Ein Suchmaschinen-Crawler wie der Googlebot entdeckt eine Adresse, ruft die Seite ab, rendert sie und übergibt das Ergebnis. Welche Websites der Googlebot wann, wie oft und wie umfassend abruft, bestimmt laut Google ein algorithmischer Prozess. Für häufigeres Crawling nimmt Google kein Geld.

• Entdecken. Ein zentrales Verzeichnis aller Webseiten gibt es nicht, deshalb sammelt Google laufend neue URLs. Der Googlebot findet sie laut Google vor allem über Links auf bereits gecrawlten Seiten, etwa wenn eine Kategorieseite auf einen neuen Ratgeber verweist. So entscheidet die interne Verlinkung mit darüber, welche Seiten ein Crawler erreicht. Zusätzlich listet eine Sitemap die Adressen, die gecrawlt werden sollen.
• Abrufen. Vor dem Abruf liest der Googlebot die robots.txt der Website. Ist die Adresse dort gesperrt, unterbleibt die Anfrage. Sonst fragt er die Seite per HTTP an, und der Statuscode der Antwort bestimmt, wie es weitergeht. Weiterleitungen folgt er in der Regel über bis zu zehn Stationen. Sein Verhalten passt der Googlebot dem Server an. Häufen sich Serverfehler oder werden die Antworten langsam, crawlt er automatisch langsamer.
• Rendern. Seiten mit dem Statuscode 200 stellt der Googlebot zum Rendern in eine Warteschlange, außer ein Robots-Meta-Tag oder HTTP-Header schließt sie vom Index aus. Eine monitorlose Variante des Browsers Chromium, die Google seit Mai 2019 laufend aktualisiert, lädt die Seite dann samt CSS und JavaScript. Im gerenderten HTML sucht der Googlebot erneut nach Links. Inhalte, die schon im ausgelieferten HTML stehen, etwa durch serverseitiges Rendern, sind auch ohne JavaScript lesbar. Wie Web-Apps für Suchmaschinen zugänglich bleiben, behandelt der Artikel zu Progressive Web Apps.
• Übergeben. Das Ergebnis geht an die Systeme, die über die Aufnahme in den Google-Index entscheiden. Ein erfolgreicher Crawl garantiert diese Aufnahme nicht.

Was bedeutet gecrawlt?

Gecrawlt bedeutet, dass ein Crawler eine Seite abgerufen hat. Das Wort ist das Partizip des eingedeutschten Verbs crawlen, das regelmäßig gebeugt wird. Der Googlebot crawlt eine Seite, hat sie gecrawlt und crawlt sie später erneut. Im Bericht Crawling-Statistik führt Google das erste Crawlen einer URL als Crawling-Zweck Erkennung, das erneute Crawlen einer bekannten Seite als Aktualisierung. Ob die Seite in den Suchergebnissen erscheint, sagt das Wort gecrawlt noch nicht.

Wann Google eine Seite zuletzt gecrawlt hat, zeigt das URL-Prüftool der Search Console im Feld Letztes Crawling. Im Feld Gecrawlt über steht, ob der Smartphone- oder der Computer-Crawler die Seite abgerufen hat. Seiten, die Google abgerufen, aber nicht in den Index aufgenommen hat, führt der Bericht zur Seitenindexierung unter dem Status Gecrawlt – zurzeit nicht indexiert, den der Artikel zur Indexierung erklärt.

Crawling und Indexierung

Crawling und Indexierung sind zwei getrennte Schritte. Beim Crawling ruft der Googlebot eine Seite ab, bei der Indexierung wertet Google den Inhalt aus und speichert ihn im Google-Index. Google weist darauf hin, dass beide Begriffe oft gleichbedeutend verwendet werden, obwohl es unterschiedliche, wenn auch eng verbundene Prozesse sind.

Bei der Indexierung analysiert Google Texte, Tags wie den Title-Tag, Bilder und Videos, erkennt Duplikate und wählt eine kanonische Seite aus. Eine gecrawlte Seite muss dabei nicht im Index landen. Umgekehrt kann Google eine per robots.txt gesperrte Adresse auch ohne Seitenaufruf indexieren, wenn andere Seiten mit beschreibendem Text auf sie verweisen.

Die robots.txt verhindert den Abruf einer Seite, aber nicht die Aufnahme ihrer Adresse. Gegen die Aufnahme in den Index hilft ein Noindex im Robots-Meta-Tag oder im HTTP-Header, und das kann Google nur lesen, wenn es die Seite crawlen darf.

Crawling in der SEO

In der Suchmaschinenoptimierung (SEO) ist Crawling die Voraussetzung für Sichtbarkeit. Was der Googlebot nicht abrufen kann, kann Google weder mit seinem Inhalt indexieren noch anhand dieses Inhalts ranken. Ein Rankingfaktor ist Crawling laut Google trotzdem nicht, und häufigeres Crawling führt nicht zwangsläufig zu besseren Positionen. Mit SEO-Crawling ist meist zweierlei gemeint, nämlich die Crawlbarkeit einer Website für Suchmaschinen und das Crawlen der eigenen Website mit einem SEO-Tool.

Crawlbarkeit (englisch Crawlability) beschreibt, ob ein Crawler die Seiten einer Website finden und vollständig abrufen kann. Sie hängt vor allem an fünf Punkten.

• Crawlbare Links. Google kann Links in der Regel nur folgen, wenn sie als <a>-Element mit href-Attribut im HTML stehen. Links, die erst ein Skript beim Klick erzeugt, erkennt der Googlebot nicht zuverlässig.
• Passende Statuscodes. Seiten, die gefunden werden sollen, antworten mit 200, dauerhaft entfernte Seiten mit 404 oder 410.
• Erreichbarer Server. Häufen sich Serverfehler, Zeitüberschreitungen oder der Statuscode 429, verlangsamt Google das Crawling.
• Freier Zugriff. Sperrt die robots.txt eine Seite oder die CSS- und JavaScript-Dateien, die sie zum Darstellen braucht, ruft Google die Seite nicht ab oder rendert sie unvollständig. Seiten hinter einem Login erreicht der Crawler ebenfalls nicht.
• Inhalt im HTML. Was erst per JavaScript entsteht, sieht Google erst nach dem Rendern und viele KI-Crawler gar nicht. Für die Google-Suche ruft der Googlebot zudem von jeder Datei nur die ersten 2 MB ab, unkomprimiert gemessen, bei PDF-Dateien die ersten 64 MB. Bekommt der Googlebot bewusst andere Inhalte als Nutzer, um Rankings zu manipulieren, ist das Cloaking und verstößt gegen Googles Spamrichtlinien.

Crawling-Optimierung heißt vor allem, diese Punkte zu sichern und den Googlebot nicht mit unwichtigen Adressen zu beschäftigen. Bei großen Websites mit vielen, sich häufig ändernden Seiten wird daraus eine Frage des Crawl-Budgets, also der begrenzten Zeit und Ressourcen, die Google für das Crawling einer Website aufwendet.

Website selbst crawlen: SEO-Crawler

Um die eigene Website zu crawlen, setzen SEO-Teams einen SEO-Crawler ein. Er geht wie ein Suchmaschinen-Crawler von Link zu Link und hält für jede Seite Statuscode, Weiterleitungen, Title-Tag, Canonical-Tag und Robots-Angaben fest. So findet ein Crawl kaputte Links, Weiterleitungsketten und Fehlerseiten. Für eine einzelne Seite genügt als Crawling-Test die Prüfung der Live-URL im URL-Prüftool der Search Console. Sie zeigt, ob Google die Seite abrufen darf, ob der Abruf gelingt und wie die gerenderte Seite aussieht.

Bei der Wahl eines Crawling-Tools zählen vor allem drei Kriterien.

• JavaScript-Rendering. Nur ein Crawler, der JavaScript ausführt, findet Links und Inhalte, die erst im Browser entstehen. Der Screaming Frog SEO Spider etwa rendert JavaScript nur in der kostenpflichtigen Version.
• URL-Limit. Kostenlose Versionen begrenzen die Zahl der Adressen, beim Screaming Frog SEO Spider auf 500 URLs (Stand 10/2026).
• Logfile-Abgleich. Ein Crawl zeigt, was ein Crawler finden könnte, das Server-Log zeigt, was der Googlebot tatsächlich abgerufen hat. Werkzeuge wie der Log File Analyser von Screaming Frog gleichen beides ab und finden so Seiten, die der Googlebot nie besucht hat.

Was ist ein Crawling-Fehler?

Ein Crawling-Fehler liegt vor, wenn ein Crawler eine Seite nicht abrufen kann oder der Server mit einem Fehler antwortet. Google trennt dabei Probleme der ganzen Website von Fehlern einzelner Adressen.

Probleme der ganzen Website zeigt der Bericht Crawling-Statistik in den Einstellungen der Search Console im Bereich Hoststatus. Er bewertet den Abruf der robots.txt, die DNS-Auflösung, also die Zuordnung des Domainnamens zu einer IP-Adresse, und die Serververbindung. DNS- und Netzwerkfehler behandelt Google wie Serverfehler. Das Crawling verlangsamt sich sofort, und indexierte Seiten, die nicht erreichbar sind, entfernt Google innerhalb weniger Tage aus dem Index.

Fehler einzelner Adressen führt der Bericht zur Seitenindexierung auf, etwa als Serverfehler (5xx), Nicht gefunden (404) oder Soft 404. Ein Soft 404 ist eine Seite, die „nicht gefunden“ meldet, aber den Statuscode 200 sendet. Laut Google ist es normal, dass der Googlebot auch Adressen crawlt, die es nicht gibt, und eine bewusst gelöschte Seite darf mit 404 antworten.

Einen eigenen Fehlerbericht für das Crawling gibt es nicht mehr. Den früheren Bericht Crawling-Fehler hat Google 2019 abgeschaltet und seine Meldungen in den Indexierungsbericht der Search Console überführt.

Google-Crawler anstoßen

Der Google-Crawler lässt sich über eine Anfrage im URL-Prüftool, eine Sitemap mit korrektem lastmod-Datum und interne Links von häufig gecrawlten Seiten anstoßen. Einen festen Termin garantiert keiner davon. Laut Google kann das Crawling einige Tage bis mehrere Wochen dauern, und auch eine Anfrage garantiert keine Aufnahme in die Suchergebnisse.

• URL-Prüftool. Für einzelne Seiten fordert die Schaltfläche Indexierung beantragen in der Search Console einen Crawl an. Die Zahl der Anträge ist pro Tag begrenzt, und mehrfaches Beantragen beschleunigt den Crawl laut Google nicht. Wer den Antrag stellen darf und wie er Schritt für Schritt abläuft, beschreibt der Artikel zur Indexierung.
• Sitemap mit lastmod. Für viele Seiten empfiehlt Google eine Sitemap. Das Datum im Feld lastmod nutzt Google laut eigener Aussage (06/2023) als Signal, wann bekannte Seiten erneut gecrawlt werden, solange es zur letzten wesentlichen Änderung passt.
• Interne Links. Neue Adressen findet der Googlebot vor allem über Links. Seiten, die direkt von der Startseite verlinkt sind, crawlt Google eventuell häufiger.

Einige Wege wirken bei Google nicht oder nicht mehr. Den Sitemap-Ping, eine Benachrichtigung per einfacher HTTP-Anfrage, hat Google im Juni 2023 abgekündigt und nach sechs Monaten abgeschaltet. Die Einstellung in der Search Console, mit der sich die Crawling-Frequenz nur begrenzen ließ, gibt es seit dem 08.01.2024 nicht mehr. Über das Protokoll IndexNow melden Websites geänderte Adressen an Suchmaschinen wie Bing, Google gehört laut der Liste auf indexnow.org aber nicht zu den teilnehmenden Suchmaschinen (Stand 10/2026). Auch ein neues Datum ohne inhaltliche Änderung hilft nicht. Meldet lastmod dauerhaft Änderungen, die es nicht gab, glaubt Google den Änderungsdaten der Website laut eigener Aussage irgendwann nicht mehr. Für das Ranking zählt laut Google die Qualität eines Inhalts, nicht sein Alter.

Beispiel: neuer Zins auf der Tagesgeld-Seite

Eine fiktive Bank ändert ihren Tagesgeldzins und aktualisiert dafür die Seite example.com/tagesgeld. Der neue Zinssatz steht direkt im HTML und wird nicht per Skript nachgeladen, damit ihn auch Crawler ohne JavaScript sehen. In der Sitemap bekommt die Seite das Änderungsdatum als lastmod, weil sich ihr Hauptinhalt geändert hat. Startseite und Zinsübersicht verlinken die Seite, sodass der Googlebot sie über häufig gecrawlte Seiten erreicht. Zuletzt stößt die Anfrage im URL-Prüftool den Abruf dieser einen Adresse an, und das Feld Letztes Crawling zeigt danach, wann er stattgefunden hat.

Für KI-Suchen außerhalb von Google wirkt die Anfrage im URL-Prüftool nicht, denn sie erreicht nur Google. ChatGPT etwa arbeitet mit einem eigenen Suchindex namens Labrador und einem Reading-Cache, in dem es geöffnete Seiten als Kopie ablegt. Für diesen Cache dokumentierte eine Analyse von Search Engine Land (08/2026) Kopien, die über 90 Tage alt waren. Ein alter Zinssatz kann dort also noch auftauchen, wenn Google die Seite längst neu gecrawlt hat. Was das für Inhalte bedeutet, ordnet der KKP-Artikel zum ChatGPT-Suchindex ein.

Gratis Download

AI Search Guide: Sichtbar in ChatGPT & Co.

Der Praxis-Guide zeigt auf 164 Seiten, wie eine Brand in ChatGPT, Google AI Overviews, Gemini und Perplexity sichtbar wird, von den Grundlagen über Messung und KPIs bis zu konkreten Maßnahmen.

Kostenlos herunterladen →