近日，互联网基础设施巨头 Cloudflare 推出了一项名为 “Pay Per Crawl” 的实验性产品，旨在重塑 AI 公司获取网络数据的方式。此举被视为对当前 AI 行业「免费午餐」模式的挑战，并可能开启内容创作者与 AI 巨头之间新的商业关系。
在 AI 搜索和 ChatGPT 兴起后，全球网站流量普遍下降。与此同时，AI 公司的爬虫程序却规避机器人协议，大量抓取网站数据，引发了内容创作者的广泛担忧和不满。Cloudflare 凭借其在全球范围内约 20% 网络流量的掌控力，此次推出的「Pay Per Crawl」为 AI 爬虫设立了新规矩：要么获得授权，要么付费。
各大公司 AI 爬虫每次抓取为网站带来的点击比例｜图片来源： Cloudflare
据 Cloudflare 数据显示，与传统搜索引擎相比，AI 爬虫为网站带来的流量转化率极低。例如，OpenAI 的爬虫约 1500 次抓取才能换来 1 次网站点击，而 Anthropic 的比例更是高达 73300 次。Cloudflare CEO Matthew Prince 指出，这种模式下，AI 公司消耗了海量原创内容，却未提供相应的流量回报，对内容创作者而言并非公平交易。过去几十年，「内容换流量」是搜索引擎时代的隐形契约，但如今这一模式在 AI 时代已然失效。
此次，Cloudflare 希望通过「Pay Per Crawl」建立一个「按次付费爬取」的市场，让网站能够选择是否允许 AI 爬虫访问其内容，并可自主设定收费标准或直接封锁。AI 公司若想抓取内容，需要注册、验证身份并按次支付费用。
活跃的大厂 AI 爬虫机器人｜图片来源： Cloudflare
该模式的落地，将依托 Cloudflare 遍布全球的 CDN 网络。网站可在后台设置三种模式：「允许」、「收费」或「封锁」。新加入 Cloudflare 的网站默认为封锁状态，除非站长主动更改设置。与 Cloudflare 合作的 AI 公司才能参与支付机制，否则将被封锁。当 AI 爬虫访问收费 URL 时，Cloudflare 将返回 HTTP 402 状态码，要求支付。支付成功后，爬虫方将收到 200 OK 响应并自动结算。
站长可以在后台设定允许、收费或封锁｜图片来源： Cloudflare
Cloudflare CEO 将此次推出称为「内容的独立日」，并表示该模式有望将网络内容的变现模式从「广告变现」拓展到「内容授权变现」，让各类内容创作者在 AI 时代获得议价权。这一举措受到了 BuzzFeed、《大西洋月刊》和《财富》等媒体的支持。Cloudflare 计划支持更精细化的定价策略，例如根据内容类型、用户数量或 AI 应用领域进行动态定价。
从经济角度看，「Pay Per Crawl」被认为是 AI 与内容创作者「重新谈判分账」的开端。它旨在将议价能力普及给更多中小型网站和个人作者，使其在新模式下获得应有的报酬，同时帮助 AI 公司规避法律风险并实现合规化发展。Cloudflare 相信，通过对内容进行价值评估，而非仅依赖流量数据，将能更有效地促进高价值内容创作。
Cloudflare 会返回 HTTP 402 Payment Required 状态码｜图片来源：Cloudflare
不过，该模式也引发了一些讨论。数字权利倡导者担忧，这可能会增加小型 AI 创业团队和研究者的成本，限制学术研究和公益项目的数据获取。若多数网站选择封锁或收费，可能导致互联网信息获取的「封闭化」，并加剧大公司的垄断地位。Cloudflare 方面则强调，网站仍可自主选择对公益项目免费开放，并将此举视为构建更美好互联网的尝试。
爬虫可以在请求里带上支付信息｜图片来源： Cloudflare
HTTP 200 OK 响应确认收费｜图片来源： Cloudflare
给 AI 爬虫设置关卡｜图片来源： Cloudflare
目前，「Pay Per Crawl」仍在内测阶段，仅部分大型出版商参与。Cloudflare 正在积极寻求更多内容创作者和抓取者的参与。这项举措标志着 AI 数据获取的未来可能发生重大转变，是互联网商业模式在新时代转型的一个重要信号。它试图平衡 AI 发展与内容创作者的权益，重新定义数据价值与获取方式。正如 Cloudflare 所言，这「仅仅是个开始」，预示着一场关于数据所有权和商业利益的探索拉开序幕。
