Am 15. September 2026 ändert Cloudflare, wie KI-Crawler auf Websites behandelt werden. Das klingt nach einem Thema für Technikabteilungen. Für viele Betriebe steckt darin allerdings ein Risiko, das niemand bemerkt: Unter bestimmten Einstellungen sperrt Cloudflare ab diesem Tag auch Googlebot aus, also genau den Crawler, von dem Ihre Sichtbarkeit in der normalen Google-Suche abhängt. Eine Fehlermeldung gibt es dafür nicht.
Viele kleinere Websites laufen über Cloudflare, oft eingerichtet von einer Webagentur oder dem Hoster, ohne dass der Betrieb selbst davon weiß. Deshalb lohnt sich ein kurzer Blick, auch wenn Sie den Namen Cloudflare noch nie gehört haben.
Was sich am 15. September bei Cloudflare ändert
Cloudflare ist ein Dienst, der zwischen Ihrer Website und ihren Besuchern sitzt. Er beschleunigt die Seite und filtert unerwünschte Zugriffe heraus, darunter automatisierte Programme, sogenannte Bots. Am 1. Juli 2026 hat Cloudflare angekündigt, KI-Crawler künftig nach ihrem Zweck zu unterscheiden. Es gibt drei Kategorien:
- Search: Crawler, die Inhalte erfassen, um später Fragen dazu zu beantworten, und dafür Besucher zurückschicken.
- Agent: Programme, die in Echtzeit im Auftrag eines Menschen handeln, etwa wenn ChatGPT während eines Gesprächs eine Seite aufruft.
- Training: Crawler, die Inhalte sammeln, um damit ein KI-Modell zu trainieren.
Für jede Kategorie lässt sich festlegen, ob sie Zugriff bekommt. Diese Einstellungen stehen allen Kunden zur Verfügung, auch im kostenlosen Tarif.
Wichtig: Ab dem 15. September gelten für alle Domains, die neu zu Cloudflare kommen, neue Voreinstellungen.
Auf Seiten, die Werbung anzeigen, werden Training und Agent automatisch gesperrt, Search bleibt erlaubt. Bestehende Domains behalten laut Cloudflare ihre bisherigen Einstellungen. Einzelne Fachberichte erwarten, dass die neuen Voreinstellungen später auch bestehende Websites im kostenlosen Tarif erreichen, einen Termin dafür nennt Cloudflare nicht.
Warum auch Googlebot gesperrt werden kann
Der kritische Teil der Ankündigung betrifft Crawler, die mehrere Zwecke gleichzeitig erfüllen. Googlebot sammelt Inhalte für die Google-Suche und zugleich für Googles KI-Funktionen. Ähnlich arbeiten Bingbot und Applebot.
Cloudflare behandelt solche Mehrzweck-Crawler ab dem 15. September nach der jeweils strengsten Regel, die auf sie zutrifft. Wörtlich heißt es in der Ankündigung, Crawler wie Googlebot, Applebot und Bingbot würden bei allen Kunden blockiert, die sich entschieden haben, Training zu sperren. Das gilt für die neuen Kategorien genauso wie für den älteren Schalter, mit dem sich KI-Bots pauschal aussperren ließen.
Wenn Sie bei Cloudflare irgendwann KI-Training gesperrt haben, um Ihre Inhalte zu schützen, sperren Sie ab dem 15. September womöglich auch Googlebot aus. Ein Klick für den Datenschutz kann dann Sichtbarkeit in der ganz normalen Google-Suche kosten.
Genau darin liegt die Tücke. Der Schalter wurde meist aus gutem Grund umgelegt, und niemand wollte damit Google aussperren. Die Folgen zeigen sich erst Wochen später, wenn Seiten seltener gecrawlt werden und aus dem Index fallen.
Wer betroffen ist und wer nicht
| Ihre Situation | Was ab dem 15. September passiert |
|---|---|
| Ihre Website läuft nicht über Cloudflare | Nichts, die Änderung betrifft Sie nicht. |
| Cloudflare, KI-Training nie gesperrt | Ihre Einstellungen bleiben, wie sie sind. |
| Cloudflare, KI-Training gesperrt | Googlebot, Bingbot und Applebot können ebenfalls gesperrt werden. |
| Neue Domain bei Cloudflare, Seiten mit Werbung | Training und Agent sind auf diesen Seiten automatisch gesperrt. |
So prüfen Sie Ihre Website
Läuft Ihre Website über Cloudflare?
Fragen Sie im Zweifel Ihre Webagentur oder Ihren Hoster, das ist der schnellste Weg. Selbst prüfen können Sie es über die Nameserver Ihrer Domain. Enden sie auf cloudflare.com, läuft Ihre Website über Cloudflare. Nutzen Sie Cloudflare nur für Turnstile, also die Sicherheitsabfrage in einem Formular, sind Sie von der Änderung nicht betroffen. Dafür läuft Ihre Website nicht über Cloudflare. Unsere eigene Website diginauten.com liegt übrigens nicht dort, die Nameserver gehören unserem Hoster.
Einstellungen im Cloudflare-Konto
Die Steuerung für KI-Crawler finden Sie im Cloudflare-Dashboard in den Sicherheitseinstellungen Ihrer Domain. Laut Cloudflares eigenem Änderungsprotokoll lassen sich dort auch die neuen Voreinstellungen abwählen, und zwar bis zum 15. September. Sehen Sie nach, ob die Kategorie Training gesperrt ist oder ob der alte Schalter zum Blockieren von KI-Bots aktiv ist.
Google Search Console beobachten
In der Search Console zeigt sich ein Problem an drei Stellen:
- die Crawling-Statistiken sinken
- im Bericht zur Seitenindexierung tauchen mehr ausgeschlossene Seiten auf
- bei der URL-Prüfung meldet der Live-Test einen blockierten Abruf
Schauen Sie in den Tagen nach dem 15. September gezielt hinein. Welche Berichte sonst noch weiterhelfen, beschreiben wir im Beitrag zur technischen OnPage-Optimierung.
Schnelltest von außen
Das kostenlose Werkzeug SeenSure prüft ohne Anmeldung, ob bekannte Crawler Ihre Startseite abrufen können, darunter Googlebot, GPTBot und ClaudeBot. Wir haben es am 14. September mit diginauten.com ausprobiert. Getestet wurden 17 Crawler in knapp drei Sekunden, das Ergebnis war einwandfrei. Beworben werden 19 Crawler, und die Details zu Auffälligkeiten sieht man erst nach einer Anmeldung per E-Mail. Als erster Hinweis taugt der Test trotzdem gut.
Was das für Ihre Sichtbarkeit in der KI-Suche bedeutet
Die Kategorie Agent verdient eigene Aufmerksamkeit. Wenn jemand ChatGPT nach einem Betrieb in Ihrer Region fragt, ruft ChatGPT passende Seiten oft in Echtzeit auf. Genau das fällt unter Agent. Ist diese Kategorie gesperrt, kann Ihre Website in solchen Antworten fehlen, obwohl sie in Google gut dasteht.
Wie ChatGPT Inhalte findet und auswählt, erklären wir ausführlich im Beitrag zur KI-Suchmaschinenoptimierung. Für Googles KI-Antworten gilt Ähnliches, nachzulesen im Beitrag über AI Overviews.
Wenn Sie KI-Training trotzdem ausschließen wollen
Der Wunsch, die eigenen Texte nicht für das Training fremder KI-Modelle herzugeben, ist nachvollziehbar. Für Google gibt es dafür einen Weg, der die Suche nicht berührt. Mit dem Eintrag Google-Extended in Ihrer robots.txt, der Datei mit Regeln für Crawler, widersprechen Sie der Nutzung Ihrer Inhalte für das Training von Googles KI-Modellen. Google schreibt dazu ausdrücklich, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch als Rankingsignal verwendet wird.
Dieser Weg ist deutlich präziser als eine pauschale Sperre über Cloudflare, weil er nur das trifft, was Sie tatsächlich ausschließen wollen.
Was noch offen ist
Einige Punkte lässt Cloudflare unbeantwortet, und wir wollen sie nicht glätten:
- Wie Cloudflare erkennt, ob eine Seite Werbung anzeigt, erklärt das Unternehmen nicht.
- Ob die automatische Sperre bei neuen Domains ebenfalls Googlebot trifft, geht aus der Ankündigung nicht eindeutig hervor. Der Wortlaut spricht von Kunden, die sich für eine Sperre entschieden haben.
- Die Zahl der fehlgeschlagenen Crawler-Anfragen im Cloudflare-Dashboard kann in die Irre führen. Ein Bericht vom 11. September zeigt, dass darin auch gewöhnliche 404-Fehler stecken, also Aufrufe von Seiten, die es nicht mehr gibt.
Falls Sie nicht sicher sind, ob Ihre Website betroffen ist, oder ob Crawler Ihre Seiten überhaupt sauber lesen können, schauen wir das gern gemeinsam mit Ihnen an. Schreiben Sie uns.
