Cloudflare klassifiziert KI-Crawler nach Verwendungszweck
Epoche: LLM-Ära · 2020er–Gegenwart
Am 1. Juli 2026 kündigte Cloudflare getrennte Kontrollen für Search, Agent und Training an und erklärte, dass neue Domains ab 15. September Training- und Agent-Crawler auf werbeführenden Seiten standardmäßig blockieren und Search erlauben würden; Betreiber können dies ändern und für Mehrzweck-Crawler gilt die strengste Regel.
Cloudflare
Quellen und Belege
Your site, your rules: new AI traffic options for all customers
Cloudflare · Quellentyp: Primärankündigung
Dokumentiert die Einstellungen für Suche, Agent und Training und die Standardwerte ab dem 15. September.
Veröffentlicht: ·Abgerufen: