Zum Inhalt springen

CDN-Umzug: Warum der Crawl-Traffic zunächst steigt und der Bot-Schutz Googlebot nicht aussperren darf

Google beschreibt am 11.11.2026 im Search Central Blog, was beim Wechsel hinter ein Content Delivery Network (CDN) mit dem Crawling passiert. Zwei Punkte betreffen Betreiber direkt: Die Last auf dem Server kann zunächst steigen statt sinken, und ein pauschaler Bot-Schutz kann Seiten aus der Suche fallen lassen.

Warum der Crawler nach dem Umzug mehr anfragt

Laut Google passt der Crawler seine Abrufrate an die Antwortzeiten des Servers an: Werden die Antworten langsamer, drosselt er, bleiben sie schnell und stabil, steigt die Crawl-Kapazität schrittweise, sofern Crawl-Bedarf besteht. Zeigt nach dem Umzug der DNS-Eintrag auf das CDN, sinken die Antwortzeiten stark. Aus Sicht des Crawlers sehe das aus, als habe der Server ein Hardware-Upgrade bekommen, und er erhöhe die Anfragerate.

Das CDN fängt diese Anfragen aber erst ab, wenn sein Cache gefüllt ist. Beim ersten Abruf einer URL an einem Standort liegt noch keine Kopie vor, das CDN muss die Antwort beim Ursprungsserver (Origin) holen. Besucher konzentrieren sich auf wenige Seiten, die schnell im Cache landen. Crawler dagegen arbeiten die Breite aller URLs ab, jede noch nicht zwischengespeicherte URL geht direkt an den Origin. Google schreibt, der Crawler erhöhe die Rate nicht sofort und viele CDNs glätteten Spitzen ohnehin. Bis die Caches warm sind, arbeite der Origin aber weiter.

Googles Dokumentation zum Hosting-Wechsel ergänzt den zeitlichen Verlauf: Unmittelbar nach der Umstellung sei ein vorübergehender Rückgang der Crawl-Rate normal. In den folgenden Tagen könne sie wieder steigen, unter Umständen über das Niveau vor dem Umzug. Ein kurzer Einbruch direkt nach dem Umschalten ist also noch kein Alarmzeichen.

Der teurere Fehler: pauschaler Bot-Schutz

Wer in dieser Phase im CDN-Dashboard einen allgemeinen Bot-Schutz einschaltet, riskiert mehr als eine Lastspitze. Stuft das CDN oder die Web Application Firewall (WAF) automatisierte Anfragen pauschal als verdächtig ein und beantwortet sie mit einer Challenge wie einem CAPTCHA, scheitert Googlebot daran. Google beschreibt, dass der Crawler dann auf einer für die Suche nutzlosen Seite hängt und die Website als absichtlich eingeschränkt oder defekt erscheint. Bleibt das bestehen, ziehe sich der Crawler zurück. Seiten und auch Produkteinträge in Google Shopping könnten dann aus der Suche fallen.

Was Google empfiehlt

Verifizierte Bots zulassen: Wer Bots blocken muss, soll in CDN und Firewall verifizierte Bots ausnehmen. Laut Google bieten die meisten großen CDNs und WAFs dafür einen Schalter oder eine verwaltete Regel. Google-Crawler lassen sich über die veröffentlichten IP-Bereiche erkennen. Noch besser sei es, unerwünschte Bots gezielt über die robots.txt oder eigene Regeln auszuschließen, statt alle automatisierten Clients zu sperren.

Caches vorwärmen: Vor der Umstellung des gesamten Verkehrs die meistbesuchten, die in Spitzenzeiten erwarteten (etwa Aktions- oder Saisonseiten) und die am häufigsten gecrawlten URLs kontrolliert über das CDN abrufen.

Notbremse mit 429 oder 503: Belastet der Crawl den Origin trotzdem kritisch, kann der Server oder das CDN für kurze Zeit, nach Googles Angabe einige Stunden oder höchstens ein bis zwei Tage, mit 429 oder 503 antworten.

Zur Notbremse gibt die verlinkte Google-Dokumentation zum Drosseln der Crawl-Rate eine Warnung mit: Sieht Googlebot dieselbe URL über mehrere Tage mit diesen Statuscodes, kann sie aus dem Index fallen. Die Drosselung gilt außerdem für den gesamten Hostnamen, also auch für Seiten, die normal antworten. Sobald die Fehler abnehmen, steigt die Rate laut Dokumentation automatisch wieder; wie lange das dauert, nennt sie nicht.

Nach dem Umzug beobachten: Die Dokumentation zum Hosting-Wechsel empfiehlt, die Server-Logs auszuwerten und die Grafiken zur Indexabdeckung in der Search Console im Blick zu behalten.

Was Sie Ihrem Dienstleister vor dem Umzug mitgeben

Die folgenden Fragen sind unsere Ableitung aus Googles Hinweisen, keine Vorgabe der Quelle:

Frage an den DienstleisterWarum sie zähltZeitpunkt
Wird ein pauschaler Bot-Schutz oder eine CAPTCHA-Challenge aktiviert? Sind verifizierte Crawler ausgenommen, und wie ist die Ausnahme umgesetzt?Ohne Ausnahme scheitert Googlebot an der Challenge, Seiten und Shopping-Einträge können aus der Suche fallen.vor dem Umzug
Wer wärmt den Cache vor, mit welchen URLs?Jede nicht zwischengespeicherte URL landet beim Origin.vor der DNS-Umstellung
Wann genau wird der DNS-Eintrag umgestellt?Ab diesem Moment steigt die Crawl-Kapazität, der Cache sollte dann vorbereitet sein.vor dem Umzug
Wer beobachtet die Zugriffe auf den Origin, und wer entscheidet über 429 oder 503? Welches Zeitlimit gilt?Dauerfehler über mehrere Tage können URLs aus dem Index kosten, die Drosselung trifft den ganzen Hostnamen.erste Tage nach dem Umzug
Wer prüft Server-Logs und die Indexabdeckung in der Search Console?Google empfiehlt diese Kontrolle beim Hosting-Wechsel.nach dem Umzug

Was offenbleibt

Der Beitrag nennt keine Zahlen: weder, wie stark der Crawl-Traffic steigt, noch, wie lange die Aufwärmphase dauert. Beides hängt von Größe und Struktur der Website ab. Es gibt auch keine Frist. Der Beitrag richtet sich an alle Websites, nicht speziell an TYPO3-Installationen. Wie Sie das CDN konfigurieren, hängt vom Anbieter ab.

Quellen

SEO