Cloudflare, AI 크롤러를 용도별로 관리
시대: LLM 시대 · 2020년대~현재
2026년 7월 1일 Cloudflare는 AI 트래픽을 Search,Agent,Training 용도별로 관리하는 기능을 발표하고, 9월 15일부터 신규 도메인의 광고 페이지에서는 Training과 Agent 크롤러를 기본 차단하고 Search는 기본 허용한다고 밝혔다. 사이트 소유자는 설정을 바꿀 수 있으며 다목적 크롤러에는 가장 엄격한 규칙이 적용된다.
Cloudflare
출처와 근거
Your site, your rules: new AI traffic options for all customers
Cloudflare · 출처 유형: 1차 발표
검색, 에이전트, 학습 설정과 9월 15일부터의 기본값을 기록한다.
게시일: ·접근일: