Cloudflare 计划自动阻止为搜索引擎索引网站的混合用途网络爬虫，同时也充当人工智能代理和培训师。该公司此前为客户提供了阻止这些爬虫抓取人工智能聊天机器人网站的选项，但现在采用了更具防御性的默认立场。
首席执行官马修·普林斯表示：“既然互联网上的大部分流量都是非人类的，我们必须走得更远，更快地采取行动，以便形成一个可持续的生态系统。”他强调，新工具和合作伙伴关系为网站所有者提供了更高的知名度和商业机会，同时使具有透明意图的人工智能公司受益。
从 2026 年 9 月 15 日开始，新客户和现有订阅者的新网站的设置将默认允许搜索，但阻止培训和代理在包含广告的页面上使用。默认情况下，不允许网站所有者控制人工智能内容使用的混合用途爬虫也将在广告页面上被阻止。免费帐户用户将自动切换到这些新的默认设置，除非他们在截止日期之前选择退出。
Cloudflare 正在更新其按抓取付费功能，现在名为按使用付费，当 AI 聊天机器人引用网站所有者的内容时，网站所有者将获得补偿。该公告包括与 Ceramic.AI 和 You.com 的合作伙伴关系，期望吸引更多人工智能公司采用这些变革。
这项新政策被视为挑战谷歌的战略举措，谷歌比领先的人工智能公司可以获得更多的信息。谷歌的主要网络爬虫 Googlebot 可以有效地索引网站并为其人工智能模型收集数据，从而使出版商在内容使用方面的选择变得复杂。 Cloudflare 的政策旨在促使 Google 和其他拥有混合用途爬虫的公司重新考虑他们的策略。
<小时/>
