Wie oft rufen KI-Systeme llms.txt wirklich ab? Fast nie.

KI-Suchen wie ChatGPT und Perplexity rufen die llms.txt fast nie ab. In Ahrefs’ Auswertung von 137.210 Domains bekamen 97 % der 38.360 gültigen Dateien im Mai 2026 keinen einzigen Abruf. Von den rund 22.000 Abrufen auf den übrigen rund 1.100 Domains stammten nur 1,1 % von KI-Retrieval-Bots, den Such-Crawlern wie OAI-SearchBot und PerplexityBot. Auf Domains ohne llms.txt fragte kein einziger KI-Bot nach der Datei. Für deine Sichtbarkeit in AI Search ist sie nach heutiger Datenlage kein Hebel, ihr engstes echtes Publikum sind laut Ahrefs Coding-Agenten.

Was ist eine llms.txt und wofür ist sie gedacht?

Eine llms.txt ist eine Markdown-Datei im Stammverzeichnis oder in einem Unterpfad einer Website, die Sprachmodellen und KI-Agenten mit Links und kurzen Beschreibungen den Weg zu den wichtigsten Inhalten zeigen soll. Answer.AI hat sie am 3. September 2024 vorgeschlagen.

Drei Abgrenzungen verschwimmen in der Debatte oft:

• Keine Kopie der Inhalte. Markdown-Fassungen einzelner Seiten sind eine eigene Taktik, die Ahrefs nicht gemessen hat.
• Keine Direktive. Anders als die robots.txt steuert oder blockiert die llms.txt nichts.
• Ursprünglich kein Sichtbarkeitshebel. Die Rahmung als Maßnahme für KI-Sichtbarkeit kam laut Ahrefs erst später aus der SEO-Branche, und bis zur Studie hatte keine große KI-Plattform zugesagt, die Datei zu lesen.

Verbreitet ist sie trotzdem: 28 % der 137.210 Domains in Ahrefs’ Stichprobe veröffentlichen eine gültige llms.txt. Ahrefs nennt das selbst eine Obergrenze. Wix erzeugt die Datei bereits automatisch, Framer und Lovable prüfen in ihren Checks zur KI-Tauglichkeit (AI-Readiness-Checks), ob es sie gibt. So wurde llms.txt zum Plattform-Standard, bevor Website-Betreiber überhaupt entschieden hatten, ob sie eine wollen.

Wie oft wird die llms.txt abgerufen?

Fast nie. 97 % der 38.360 gültigen Dateien bekamen im Mai 2026 keinen einzigen Abruf, das sind rund 37.000 Dateien. Bei Ahrefs heißt es: „No bots. No humans. Nothing.“ Die Studie ist am 15. Juni 2026 erschienen.

Als gültig zählte nur eine Datei mit HTTP-Status 200 und echtem Markdown statt einer verkappten Fehlerseite. Die Abrufe stammen aus Ahrefs Bot Analytics: jede Anfrage auf /llms.txt, zugeordnet nach User-Agent, also der Kennung, mit der sich ein Bot oder Browser beim Server meldet.

Wer ruft die llms.txt wirklich ab?

Vor allem Bots ohne KI-Bezug. 96 % der rund 22.000 Abrufe kamen von Bots, 4 % (930 Abrufe) von Menschen. Ahrefs hat jeden Bot-User-Agent einer von zwölf Kategorien zugeordnet, darunter die KI-Retrieval-Bots, also die Such-Crawler, mit denen KI-Suchen wie ChatGPT und Perplexity Quellen für ihre Antworten erfassen. Dazu kommen die Abrufe von Menschen:

Keine KI-Kategorie ist unter den vier größten. Rund drei Viertel aller Abrufe (64,2 % plus 12,1 %) stammen von Bots ohne KI-Bezug. Selbst Slackbot, der beim Teilen eines Links die Vorschau erzeugt, rief llms.txt-Dateien häufiger ab als PerplexityBot.

Die größte Kategorie sind SEO-Audit-Tools mit 4.776 Abrufen. Sie crawlen Websites für klassische SEO-Checks und haben laut Ahrefs kein besonderes Interesse an der llms.txt. Fast die Hälfte davon stammt von Ahrefs’ eigenen Crawlern: 2.334 Abrufe, 10,6 % aller Abrufe. Auch Chromes Lighthouse-Audit zählt zu dieser Kategorie, kommt aber nur auf 22 Abrufe, rund einen von 1.000.

Weitere 12,1 % (2.656 Abrufe) stammen von Tools, die llms.txt untersuchen statt nutzen. Dazu zählen llms.txt-Scanner, Forschungs-Bots und GEO/AEO-Tools (Generative bzw. Answer Engine Optimization), die Websites auf ihre Tauglichkeit für KI-Antworten prüfen. Der größte Forschungs-Bot heißt prompt-injection-survey/1.0. Ahrefs schließt daraus, dass jemand llms.txt systematisch als Einfallstor für Prompt Injection untersucht, also für eingeschleuste Anweisungen an KI-Agenten. Die Datei ist gerade dafür gemacht, dass Agenten sie einlesen und ihr vertrauen.

Lesen ChatGPT, Perplexity und andere KI-Suchen die llms.txt?

Kaum. Die vier KI-Kategorien kommen zusammen auf 19,5 % der Abrufe. Den kleinsten Teil stellen die KI-Retrieval-Bots: 1,1 % oder 233 Abrufe in einem Monat auf rund 1.100 Domains.

OpenAIs Such-Crawler OAI-SearchBot kommt auf 0,74 %, PerplexityBot auf 0,23 %, Anthropics Such-Crawler Claude-SearchBot auf 0,01 %. Dass ChatGPT für seine Antworten einen eigenen Suchindex aufbaut, zeigt der Artikel zu ChatGPTs Suchindex.

Der größte einzelne KI-Bot ist der Training-Crawler GPTBot mit 4,51 %. Training-Crawler rufen die Datei rund 5-mal so oft ab wie Retrieval-Bots, 1.179 zu 233 Abrufe. Ahrefs folgert: Wenn llms.txt überhaupt auf KI-Sichtbarkeit wirkt, dann wahrscheinlich indirekt über das Training und nicht beim Abruf von Quellen für eine konkrete Antwort (Retrieval Augmented Generation). Gemessen ist diese Wirkung nicht.

Am aktivsten sind KI-Agenten und Agenten-Infrastruktur mit 10,5 %, mehr als Retrieval, Assistenten und Training zusammen (8,9 %). Claude-Code, der Coding-Agent von Anthropic, rief llms.txt-Dateien häufiger ab als jeder KI-Retrieval-Bot, jeder KI-Assistent und jeder Training-Crawler außer GPTBot.

Suchen KI-Bots von sich aus nach einer llms.txt?

Nein. Anfragen nach nicht vorhandenen llms.txt-Dateien, die mit HTTP 404 enden, kamen zu 98 % von Menschen und zu 0 % von KI-Bots. Hinter den Menschen vermutet Ahrefs SEOs, die bei Wettbewerbern nachsehen.

Daraus folgert Ahrefs: KI-Tools rufen eine llms.txt ab, wenn ein Link, ein Index oder eine Nutzeranweisung sie dorthin führt, nicht auf Verdacht.

Nutzt Google die llms.txt?

Nicht für die Google-Suche. In seinem Leitfaden zu generativer KI vom Mai 2026 schreibt Google, für die Google-Suche samt AI Overviews und AI Mode brauche es keine neuen maschinenlesbaren Dateien, keine KI-Textdateien und kein Markdown. Die Suche nutze sie nicht. Eine llms.txt für andere Dienste sei „completely fine“, der Sichtbarkeit in der Google-Suche werde sie weder schaden noch helfen („neither harm nor help“). Stand der Seite ist der 10. Juli 2026, der Wortlaut war am 24. September 2026 unverändert.

Ein Search Advocate von Google ordnete die Datei im Mai 2026 in einem Bluesky-Thread ein, den die Ahrefs-Studie zitiert. Nach seiner Einschätzung sei sie eine vorübergehende Krücke für KI-Coding-Tools, die vielleicht ein paar Tokens spare. Für Websites ohne Entwicklerbezug ergebe sie wenig Sinn, zumal die Logs derzeit wenig Agenten-Traffic zeigten.

Googlebot rief die Datei im Mai rund 900-mal ab, gut 4 % der rund 22.000 Abrufe (eigene Rechnung). Ahrefs wertet das als normales Crawling wie bei einer Sitemap. Einen eigenen Crawler für Training und Grounding von Gemini gibt es nach Ahrefs’ Angaben nicht, Google nutzt dafür Inhalte des normalen Googlebots. Ob dessen Abrufe der Datei in Gemini einfließen, zeigen die Logdaten deshalb nicht.

Unabhängig von der Google-Suche hat das Chrome-Team einen llms.txt-Check in seine experimentellen Lighthouse-Audits für agentisches Browsing aufgenommen, also für KI-Agenten, die Websites selbst bedienen (Stand der Dokumentation: 5. Mai 2026). Der Check schlägt nur bei einem Serverfehler an. Eine fehlende Datei wertet er als „Not Applicable“, weil sie „optional at the moment“ sei.

Was hat sich seit der Studie bei llms.txt geändert?

An den Zahlen nichts, an der Spezifikation einiges. Die Studienseite trägt das Änderungsdatum 27. August 2026, die Zahlen sind aber seit Juni unverändert. Stand dieses Artikels ist der 24. September 2026:

Die wichtigste Neuerung ist Version 2 der Spezifikation vom 10. August 2026. Darin kann eine Seite per rel="describedby" auf die zuständige llms.txt verweisen und per rel="alternate" mit dem Typ text/markdown auf ihre Markdown-Fassung, im HTML oder als HTTP-Header. Eine llms.txt in einem Unterpfad gilt für alle Seiten darunter. Neu steht außerdem ausdrücklich in der Spezifikation, dass Agenten die Datei lesen und dann den passenden Links folgen sollen. Laut der Änderungsseite nutzen Coding-Agenten die Dateien zuverlässig („reliably“), eine Messung dazu nennt sie nicht.

Version 2 setzt damit am 404-Befund an: Agenten kommen, wenn man sie hinführt. Ob das die Abrufe verändert, ist offen. Skeptisch bleibt der Doku-Anbieter Redocly, der llms.txt am 9. September 2026 „still overhyped“ nannte. Laut Redoclys eigenen Logs lesen Agenten die Markdown-Fassungen der Dokumentation und nutzen den MCP-Server, den Redocly selbst anbietet, jeweils um ein Vielfaches häufiger als die llms.txt. Zahlen nennt Redocly nicht. MCP steht für Model Context Protocol, eine Schnittstelle, über die Agenten Daten und Werkzeuge direkt abfragen.

Wie belastbar sind die Zahlen?

Am unsichersten ist die Quote von 97 %: Offen ist, wie viele Domains überhaupt serverseitig gemessen wurden. Die Aufteilung der Abrufe hängt daran weniger. Vier Grenzen nennt Ahrefs selbst:

• Stichprobe. Ahrefs-Kunden sind technischer und SEO-affiner als das Web insgesamt, die 28 % Verbreitung sind eine Obergrenze.
• Kleiner Pool. Alle Bot-Anteile beziehen sich auf rund 1.100 Domains und rund 22.000 Abrufe.
• Abgerufen heißt nicht gelesen. Gezählt ist der Abruf, nicht die Nutzung. Die 19,5 % KI-Anteil sind deshalb die großzügigste Lesart.
• Spezifikation nicht geprüft. Ob die Dateien der llms.txt-Spezifikation entsprechen, hat Ahrefs nicht untersucht.

Weitere Fragen lässt die Studie offen:

• Messabdeckung. Ahrefs schreibt, die Server-Logs der 137.210 Domains ausgewertet zu haben. Bot Analytics, derzeit in der Beta-Phase, erfasst laut Produktseite aber nur Websites mit Cloudflare-Anbindung. Wie viele Domains tatsächlich serverseitig erfasst waren, legt Ahrefs nicht offen. Waren nicht alle angeschlossen, wären manche Dateien ohne Abruf in Wahrheit nur nicht gemessen.
• Zuordnung nach User-Agent. Eine durchgehende Prüfung per IP beschreibt die Studie nicht, gefälschte User-Agents sind nicht ausgeschlossen.
• Enger Ausschnitt. Ein Monat, kein Verlauf, keine Aufschlüsselung nach Land, Sprache, Branche oder Domaingröße. Über deutsche Finanz- oder Versicherungsseiten sagt die Studie nichts.
• Eigenes Produkt. Ahrefs verkauft Bot Analytics, die eigenen Crawler stellen 10,6 % der Abrufe, und die Studie enthält eine Anleitung für Bot Analytics. Rohdaten und ein Peer-Review gibt es nicht.
• Keine Wirkungsmessung. Gezählt sind Abrufe, keine Zitierungen in KI-Antworten.

Die Richtung stützen zwei Befunde, die nicht an dieser Quote hängen: Unter den gemessenen Abrufen stellen KI-Retrieval-Bots nur 1,1 %, und kein KI-Bot fragte nach fehlenden Dateien. Dazu kommt Googles Aussage, dass die eigene Suche die Datei nicht nutzt.

Was heißt das für deine AI-Search-Strategie?

Setz Budget und Zeit auf die bekannten Hebel für AI-Search-Sichtbarkeit und behandle die llms.txt als Randthema für Agenten:

Ist eine llms.txt sinnvoll?

Für AI-Search-Sichtbarkeit aus meiner Sicht nicht, für KI-Coding-Agenten schon. Plattformen, Audit-Tools und Checklisten behandeln die llms.txt oft als Einstieg in die KI-Sichtbarkeit. Die Daten tragen das nicht: Die Systeme, auf die es in AI Search ankommt, rufen sie praktisch nie ab und suchen nicht danach. Wer Budget in eine llms.txt steckt, weil eine Checkliste es empfiehlt, optimiert an der falschen Stelle.

Ein naheliegender Einwand lautet, die Datei schade doch nicht. Für die Google-Suche stimmt das. Einen messbaren Beitrag zur Sichtbarkeit in ChatGPT, Perplexity oder AI Overviews liefert sie nach heutiger Datenlage aber auch nicht. Harmlos bleibt sie außerdem nur, solange jemand sie pflegt, denn eine veraltete oder manipulierte llms.txt kann Agenten in die Irre führen.

Die Ausnahme sind KI-Coding-Agenten. Wer Entwicklerdokumentation oder APIs anbietet, hat den plausibelsten Grund für eine llms.txt: Coding-Agenten sind laut Ahrefs ihr engstes echtes Publikum, und Claude-Code rief die Datei im Mai öfter ab als jeder KI-Retrieval-Bot. Dann gehört sie verlinkt, nicht nur abgelegt. Ob sich die Abrufe von Claude-Code auf Doku-Seiten konzentrieren, hat Ahrefs allerdings nicht untersucht.

Offen bleibt, ob die llms.txt über Training-Crawler indirekt wirkt, ob die Link-Relationen der Version 2 das Abrufverhalten ändern und wie es auf deutschen Finanz- und Versicherungsseiten aussieht. Deshalb empfehle ich, zu beobachten und die eigenen Logs zu prüfen, statt vorab zu investieren. Wie wir bei KKP die Sichtbarkeit von Brands in KI-Antworten messen und ausbauen, zeigt unsere AI-Search-Beratung.

Häufige Fragen zur llms.txt