Cloudflare klassifiziert KI-Crawler nach Verwendungszweck
Epoche: Das LLM-Zeitalter · 2020er–Gegenwart
Am 1. Juli 2026 kündigte Cloudflare getrennte Kontrollen für Search, Agent und Training an. Ab 15. September blockieren neue Domains Training- und Agent-Crawler auf werbeführenden Seiten standardmäßig, Search bleibt erlaubt; Betreiber können dies ändern und für Mehrzweck-Crawler gilt die strengste Regel.
Cloudflare
Quellen und Belege
Your site, your rules: new AI traffic options for all customers
Cloudflare · Quellentyp: primary-announcement
Documents Search, Agent, and Training controls and September 15 defaults.
Veröffentlicht: ·Abgerufen: