Cloudflare ने AI क्रॉलरों को उद्देश्य से वर्गीकृत किया
युग: LLM का युग · 2020 का दशक–वर्तमान
1 जुलाई 2026 को Cloudflare ने खोज, एजेंट और प्रशिक्षण के यातायात के लिए अलग-अलग नियंत्रण घोषित किए। 15 सितम्बर से नए Cloudflare डोमेन विज्ञापन वाले पृष्ठों पर प्रशिक्षण तथा एजेंट क्रॉलरों को मूलतः रोकेंगे और खोज को मूलतः अनुमति देंगे; साइट-स्वामी सेटिंग बदल सकते हैं, और बहु-उद्देश्यीय क्रॉलर लागू होने वाले सबसे कड़े नियम का पालन करते हैं।
Cloudflare
स्रोत और प्रमाण
Your site, your rules: new AI traffic options for all customers
Cloudflare · स्रोत का प्रकार: primary-announcement
Documents Search, Agent, and Training controls and September 15 defaults.
प्रकाशित: ·देखा गया: