Cloudflare, AI 크롤러를 용도별로 관리
시대: 대규모 언어 모델 시대 · 2020년대~현재
2026년 7월 1일 Cloudflare는 AI 트래픽을 Search,Agent,Training 용도별로 관리하는 기능을 발표했다. 9월 15일부터 신규 도메인의 광고 페이지에서는 Training과 Agent 크롤러를 기본 차단하고 Search는 기본 허용한다. 사이트 소유자는 설정을 바꿀 수 있으며 다목적 크롤러에는 가장 엄격한 규칙이 적용된다.
Cloudflare
출처와 근거
Your site, your rules: new AI traffic options for all customers
Cloudflare · 출처 유형: primary-announcement
Documents Search, Agent, and Training controls and September 15 defaults.
게시일: ·접근일: