Cloudflare 正在收紧 AI 爬虫的默认访问权限，并把重点放在出版商内容收费上。公司表示，自 2026 年 9 月 15 日起，凡是在广告页面上抓取内容、且同时用于搜索、AI 代理和模型训练的“混合用途”爬虫，将被默认拦截，除非网站所有者自行修改设置。
9月15日起默认拦截
这项调整将适用于新的 Cloudflare 客户、现有客户新建的网站，以及所有现有免费用户。换句话说，网站如果不主动放开权限，这类爬虫今后将更难继续以同一身份抓取内容。
Cloudflare 的判断是，许多网站愿意继续被搜索引擎收录，也愿意在部分 AI 服务中被发现，但不希望内容在没有补偿的情况下被直接用于训练或代理服务。
搜索与AI用途被要求分开
Cloudflare 在说明中提到，全球最大搜索引擎掌握的信息量大约是其他 AI 公司的两倍，并暗示这类平台把搜索与 AI 用途绑定，令网站很难在保持搜索曝光的同时避开 AI 使用。
谷歌过去曾反驳类似说法。其公开立场是，网站可以通过 Google Extended 选择不让内容用于训练及 Gemini Apps、Vertex API 等 AI 产品，同时不影响 Google Search 收录。不过，Googlebot 本身仍会为搜索抓取内容，而搜索结果中的 AI Overviews 和 AI Mode 也依赖这一体系。
收费模式扩展到按使用
除了访问控制，Cloudflare 还在推进内容收费工具。公司此前推出过面向 AI 机器人的“按次抓取付费”机制 Pay Per Crawl，现在又将其扩展为“按使用付费” Pay Per Use。
按 Cloudflare 的说法，新模式不只在内容被抓取时收费，而是在内容真正产生价值时收费。首批合作方包括 Ceramic.ai 和 You.com。出版商选择加入后，如果内容出现在 Ceramic 的 AI 搜索结果中，或 You.com 调用其付费内容，出版商就可以获得收入。
Cloudflare 还称，这项变化也有助于减少出版商的带宽和算力消耗。公司数据显示，超过一半的 AI 爬虫流量都花在重复抓取未发生变化的页面上。对依赖广告和订阅收入的网站来说，这意味着内容被反复读取，但未必带来对应回报。