Update vom 18. September 2026:
Cloudflare hat die Änderung am 15. September anders umgesetzt, als im Juli angekündigt. Wer KI-Training bisher gesperrt hatte, wurde automatisch auf die neue Einstellung „Disallow AI Training“ umgestellt. Googlebot, Bingbot und Applebot dürfen damit weiter für die Suche crawlen. Zusätzlich schreibt Cloudflare einen Widerspruch gegen das KI-Training in Ihre robots.txt, bei Google über den Eintrag Google-Extended. Das entspricht dem Weg, den wir weiter unten empfehlen. Die Einzelheiten stehen in der Ankündigung von Cloudflare.
Ganz vom Tisch ist das Risiko trotzdem nicht. Die Optionen „Block“ und „Block on pages with ads“ gelten seit dem 15. September ausdrücklich auch für Googlebot, Bingbot und Applebot. Wer KI-Training heute über eine dieser beiden Optionen sperrt, sperrt damit auch die Suchmaschinen aus. Wenn Sie in der Google-Suche sichtbar bleiben wollen, wählen Sie für Training deshalb „Allow“ oder „Disallow AI Training“.
Die offene Frage zu neuen Domains ist damit ebenfalls geklärt. Neue Domains mit Werbung bekommen für Training „Disallow AI Training“ voreingestellt, Googlebot bleibt dort erlaubt.
Für die Sichtbarkeit in der KI-Suche lohnt sich ein Blick auf die Kategorie Agent. Wer früher den Schalter zum pauschalen Blockieren von KI-Bots aktiviert hatte, findet sie nach der Umstellung auf „Block on pages with ads“. Auf Seiten mit Werbung kann ChatGPT Ihre Inhalte dann während eines Gesprächs nicht abrufen.
Aus Googles KI-Übersichten und dem KI-Modus hält die neue Einstellung Ihre Inhalte nicht heraus. Das regelt Google über einen eigenen Schalter in der Search Console, den wir im Diginauten Weekly KW 36 vorgestellt haben.
Zum Schnelltest mit SeenSure tragen wir eine Einschränkung nach. Das Werkzeug ruft Ihre Seite von eigenen Servern ab und gibt sich dabei als Googlebot aus. Cloudflare prüft beim echten Googlebot aber zusätzlich, ob eine Anfrage tatsächlich von Google stammt. Wie Cloudflare mit dem echten Googlebot umgeht, zeigt der Test deshalb nicht zuverlässig. Verlässlicher sind die Crawling-Statistiken in der Search Console und die Sicherheitsereignisse in Ihrem Cloudflare-Dashboard.
Originalmeldung vom 14. September 2026:
Am 15. September 2026 ändert Cloudflare, wie KI-Crawler auf Websites behandelt werden. Das klingt nach einem Thema für Technikabteilungen. Für viele Betriebe steckt darin allerdings ein Risiko, das niemand bemerkt: Unter bestimmten Einstellungen sperrt Cloudflare ab diesem Tag auch Googlebot aus, also genau den Crawler, von dem Ihre Sichtbarkeit in der normalen Google-Suche abhängt. Eine Fehlermeldung gibt es dafür nicht.
Viele kleinere Websites laufen über Cloudflare, oft eingerichtet von einer Webagentur oder dem Hoster, ohne dass der Betrieb selbst davon weiß. Deshalb lohnt sich ein kurzer Blick, auch wenn Sie den Namen Cloudflare noch nie gehört haben.
Was sich am 15. September bei Cloudflare ändert
Cloudflare ist ein Dienst, der zwischen Ihrer Website und ihren Besuchern sitzt. Er beschleunigt die Seite und filtert unerwünschte Zugriffe heraus, darunter automatisierte Programme, sogenannte Bots. Am 1. Juli 2026 hat Cloudflare angekündigt, KI-Crawler künftig nach ihrem Zweck zu unterscheiden. Es gibt drei Kategorien:
- Search: Crawler, die Inhalte erfassen, um später Fragen dazu zu beantworten, und dafür Besucher zurückschicken.
- Agent: Programme, die in Echtzeit im Auftrag eines Menschen handeln, etwa wenn ChatGPT während eines Gesprächs eine Seite aufruft.
- Training: Crawler, die Inhalte sammeln, um damit ein KI-Modell zu trainieren.
Für jede Kategorie lässt sich festlegen, ob sie Zugriff bekommt. Diese Einstellungen stehen allen Kunden zur Verfügung, auch im kostenlosen Tarif.
Wichtig: Ab dem 15. September gelten für alle Domains, die neu zu Cloudflare kommen, neue Voreinstellungen.
Auf Seiten, die Werbung anzeigen, werden Training und Agent automatisch gesperrt, Search bleibt erlaubt. Bestehende Domains behalten laut Cloudflare ihre bisherigen Einstellungen. Einzelne Fachberichte erwarten, dass die neuen Voreinstellungen später auch bestehende Websites im kostenlosen Tarif erreichen, einen Termin dafür nennt Cloudflare nicht.
Warum auch Googlebot gesperrt werden kann
Der kritische Teil der Ankündigung betrifft Crawler, die mehrere Zwecke gleichzeitig erfüllen. Googlebot sammelt Inhalte für die Google-Suche und zugleich für Googles KI-Funktionen. Ähnlich arbeiten Bingbot und Applebot.
Cloudflare behandelt solche Mehrzweck-Crawler ab dem 15. September nach der jeweils strengsten Regel, die auf sie zutrifft. Wörtlich heißt es in der Ankündigung, Crawler wie Googlebot, Applebot und Bingbot würden bei allen Kunden blockiert, die sich entschieden haben, Training zu sperren. Das gilt für die neuen Kategorien genauso wie für den älteren Schalter, mit dem sich KI-Bots pauschal aussperren ließen.
Wenn Sie bei Cloudflare irgendwann KI-Training gesperrt haben, um Ihre Inhalte zu schützen, sperren Sie ab dem 15. September womöglich auch Googlebot aus. Ein Klick für den Datenschutz kann dann Sichtbarkeit in der ganz normalen Google-Suche kosten.
Genau darin liegt die Tücke. Der Schalter wurde meist aus gutem Grund umgelegt, und niemand wollte damit Google aussperren. Die Folgen zeigen sich erst Wochen später, wenn Seiten seltener gecrawlt werden und aus dem Index fallen.
Wer betroffen ist und wer nicht
| Ihre Situation | Was ab dem 15. September passiert |
|---|---|
| Ihre Website läuft nicht über Cloudflare | Nichts, die Änderung betrifft Sie nicht. |
| Cloudflare, KI-Training nie gesperrt | Ihre Einstellungen bleiben, wie sie sind. |
| Cloudflare, KI-Training gesperrt | Googlebot, Bingbot und Applebot können ebenfalls gesperrt werden. |
| Neue Domain bei Cloudflare, Seiten mit Werbung | Training und Agent sind auf diesen Seiten automatisch gesperrt. |
So prüfen Sie Ihre Website
Läuft Ihre Website über Cloudflare?
Fragen Sie im Zweifel Ihre Webagentur oder Ihren Hoster, das ist der schnellste Weg. Selbst prüfen können Sie es über die Nameserver Ihrer Domain. Enden sie auf cloudflare.com, läuft Ihre Website über Cloudflare. Nutzen Sie Cloudflare nur für Turnstile, also die Sicherheitsabfrage in einem Formular, sind Sie von der Änderung nicht betroffen. Dafür läuft Ihre Website nicht über Cloudflare. Unsere eigene Website diginauten.com liegt übrigens nicht dort, die Nameserver gehören unserem Hoster.
Einstellungen im Cloudflare-Konto
Die Steuerung für KI-Crawler finden Sie im Cloudflare-Dashboard in den Sicherheitseinstellungen Ihrer Domain. Laut Cloudflares eigenem Änderungsprotokoll lassen sich dort auch die neuen Voreinstellungen abwählen, und zwar bis zum 15. September. Sehen Sie nach, ob die Kategorie Training gesperrt ist oder ob der alte Schalter zum Blockieren von KI-Bots aktiv ist.
Google Search Console beobachten
In der Search Console zeigt sich ein Problem an drei Stellen:
- die Crawling-Statistiken sinken
- im Bericht zur Seitenindexierung tauchen mehr ausgeschlossene Seiten auf
- bei der URL-Prüfung meldet der Live-Test einen blockierten Abruf
Schauen Sie in den Tagen nach dem 15. September gezielt hinein. Welche Berichte sonst noch weiterhelfen, beschreiben wir im Beitrag zur technischen OnPage-Optimierung.
Schnelltest von außen
Das kostenlose Werkzeug SeenSure prüft ohne Anmeldung, ob bekannte Crawler Ihre Startseite abrufen können, darunter Googlebot, GPTBot und ClaudeBot. Wir haben es am 14. September mit diginauten.com ausprobiert. Getestet wurden 17 Crawler in knapp drei Sekunden, das Ergebnis war einwandfrei. Beworben werden 19 Crawler, und die Details zu Auffälligkeiten sieht man erst nach einer Anmeldung per E-Mail. Als erster Hinweis taugt der Test trotzdem gut.
Was das für Ihre Sichtbarkeit in der KI-Suche bedeutet
Die Kategorie Agent verdient eigene Aufmerksamkeit. Wenn jemand ChatGPT nach einem Betrieb in Ihrer Region fragt, ruft ChatGPT passende Seiten oft in Echtzeit auf. Genau das fällt unter Agent. Ist diese Kategorie gesperrt, kann Ihre Website in solchen Antworten fehlen, obwohl sie in Google gut dasteht.
Wie ChatGPT Inhalte findet und auswählt, erklären wir ausführlich im Beitrag zur KI-Suchmaschinenoptimierung. Für Googles KI-Antworten gilt Ähnliches, nachzulesen im Beitrag über AI Overviews.
Wenn Sie KI-Training trotzdem ausschließen wollen
Der Wunsch, die eigenen Texte nicht für das Training fremder KI-Modelle herzugeben, ist nachvollziehbar. Für Google gibt es dafür einen Weg, der die Suche nicht berührt. Mit dem Eintrag Google-Extended in Ihrer robots.txt, der Datei mit Regeln für Crawler, widersprechen Sie der Nutzung Ihrer Inhalte für das Training von Googles KI-Modellen. Google schreibt dazu ausdrücklich, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch als Rankingsignal verwendet wird.
Dieser Weg ist deutlich präziser als eine pauschale Sperre über Cloudflare, weil er nur das trifft, was Sie tatsächlich ausschließen wollen.
Was noch offen ist
Einige Punkte lässt Cloudflare unbeantwortet, und wir wollen sie nicht glätten:
- Wie Cloudflare erkennt, ob eine Seite Werbung anzeigt, erklärt das Unternehmen nicht.
- Ob die automatische Sperre bei neuen Domains ebenfalls Googlebot trifft, geht aus der Ankündigung nicht eindeutig hervor. Der Wortlaut spricht von Kunden, die sich für eine Sperre entschieden haben.
- Die Zahl der fehlgeschlagenen Crawler-Anfragen im Cloudflare-Dashboard kann in die Irre führen. Ein Bericht vom 11. September zeigt, dass darin auch gewöhnliche 404-Fehler stecken, also Aufrufe von Seiten, die es nicht mehr gibt.
Falls Sie nicht sicher sind, ob Ihre Website betroffen ist, oder ob Crawler Ihre Seiten überhaupt sauber lesen können, schauen wir das gern gemeinsam mit Ihnen an. Schreiben Sie uns.
