Cloudflare разделяет ИИ-краулеры по назначению
Эпоха: Эра больших языковых моделей · 2020-е–настоящее время
1 июля 2026 года Cloudflare объявила раздельное управление трафиком Search, Agent и Training. С 15 сентября новые домены по умолчанию блокируют Training и Agent на страницах с рекламой, разрешая Search; владельцы могут изменить настройки, а для многоцелевых краулеров действует самое строгое правило.
Cloudflare
Источники и подтверждения
Your site, your rules: new AI traffic options for all customers
Cloudflare · Тип источника: primary-announcement
Documents Search, Agent, and Training controls and September 15 defaults.
Опубликовано: ·Проверено: