Cloudflare разделяет ИИ-краулеры по назначению
Эпоха: Эпоха LLM · 2020-е–настоящее время
1 июля 2026 года Cloudflare объявила раздельное управление трафиком Search, Agent и Training и сообщила, что с 15 сентября новые домены будут по умолчанию блокировать Training и Agent на страницах с рекламой, разрешая Search; владельцы могут изменить настройки, а для многоцелевых краулеров действует самое строгое правило.
Cloudflare
Источники и подтверждения
Your site, your rules: new AI traffic options for all customers
Cloudflare · Тип источника: Первичное объявление
Документирует настройки поиска, агента и обучения и значения по умолчанию с 15 сентября.
Опубликовано: ·Проверено: