互联网的第二类受众：AI 代理正在改变网站流量与变现

背景：网站访问者不再只有人类

过去三十年，网站主要面向人类用户：人们阅读文章、观看广告、购买订阅。机器人一直存在，但多数是自动化抓取系统，它们不会看广告，也不会像用户一样付费。

这一结构正在快速变化。Cloudflare 称，其网络在 2024 年底平均每秒处理 6300 万个 HTTP 请求，如今接近 1.15 亿次，峰值超过 1.5 亿次。过去一年，其网络上的 AI 代理日请求量增长超过 1700%。该公司还表示，今年首次出现了“超过一半互联网流量并非来自人类”的情况。

这并不意味着人类网络缩小了，而是出现了第二类受众：代表人类执行任务的软件代理。它们介于传统机器人和人类用户之间：不会响应广告，但背后通常有一个明确需求的人。

流量增加，收入未必增加

传统网站经济有一个基本交换：允许搜索引擎抓取内容，搜索引擎带来访客，网站通过广告、订阅或销售获得收入。

AI 摘要和问答系统正在削弱这一平衡。回答引擎读取网页内容后，直接向用户给出总结，网站承担带宽和计算成本，却未必获得真实访问、广告展示或付费转化。

Cloudflare 提到，一些被大量抓取的行业，如零售、计算机软件、IT 服务和金融服务，在不到一年内人类访问量下降幅度最高可达 40%。与此同时，自动化请求仍会消耗带宽、计算和源站能力，但不一定带来推荐流量、广告曝光或订阅收入。

不是所有自动化访问都应一刀切

Cloudflare 曾建议新域名默认阻止 AI 训练爬虫，以便网站所有者拒绝内容被用于模型训练。其数据显示，2025 年春季，按爬虫自述用途统计，AI 训练相关请求占爬虫请求的 22%；到 2026 年 6 月，这一比例升至 52%。

但完全封禁并不是足够细致的策略。因为并非所有自动化访问都只是“拿走内容”：

• 训练爬虫会收集页面用于模型训练；
• 搜索爬虫可能带来可见性；
• AI 代理可能是某个用户派来的执行者，例如订餐、比较保险报价、查询数据或完成购买。

如果网站拒绝了代理，也可能等于拒绝了代理背后的人。

网站需要识别、设定规则并收费

Cloudflare 将问题拆成四件事：

1. 看清谁在访问；
2. 区分不同类型的机器人和代理；
3. 设定访问条款；
4. 在合适场景下收费。

识别真实访问者

“AI 机器人”这个标签已经过于粗糙，关键在于它实际做什么。Cloudflare 提到的 AI Crawl Control、Business Insights 和 BotBase 等工具，旨在帮助站点看到谁在抓取、抓取了什么、哪些 URL 最受关注。

为了降低伪装风险，Web Bot Auth 允许 OpenAI、Google、AWS 等运营方对代理请求进行加密签名，使网站不必只依赖 IP 地址或 User-Agent 字符串来判断访问者身份。Cloudflare 称其每周看到超过 5000 亿个经过验证的机器人请求。

分开管理搜索、代理和训练

Cloudflare 已将单一的“阻止 AI 机器人”开关拆分为搜索、代理和训练三类控制，并称这些选项覆盖所有套餐，包括免费计划。

其数据表明，不到 1% 的 Cloudflare 站点阻止搜索爬虫，而 17% 的站点阻止训练爬虫。这说明许多站点并不想从网络中消失，而是希望在被发现的同时，避免内容被无偿用于训练或其他用途。

对于同时用于搜索和训练的混合型爬虫，Cloudflare 推出了“Disallow AI Training”机制：站点可以保留搜索索引，同时指示运营方不要将数据用于训练。Cloudflare 称 Apple、Google 和 Microsoft 已承诺遵守该机制。

从“允许或拒绝”转向“付费访问”

开放网络面临的核心问题之一是：网站不能只在“允许访问”和“完全拒绝”之间二选一，还需要一种“可以访问，但需要付费”的机制。

Cloudflare 提到，自 2023 年以来，已有 50 多项出版商与 AI 公司之间的内容授权交易。这些交易说明内容具有商业价值，但多数是大型出版商与大型 AI 公司之间的定制协议，难以覆盖更广泛的网站和买方。

Cloudflare 正在推进两类机制：

Pay Per Use：按实际使用付费

Pay Per Use 面向难以与 AI 公司逐一谈判的网站。其思路不是为“抓取”本身收费，而是在内容被实际使用时付费。

流程包括：

• 买方必须是经过验证的爬虫；
• 买方定义何为“使用”以及愿意支付的价格；
• 发布者查看报价并选择是否加入；
• 买方报告每次使用；
• Cloudflare 核验报告、向买方计费并向发布者付款。

这种机制的重点不仅是付款，也包括使用报告。发布者可以看到哪些内容被使用、何时被使用、获得了多少收入，以及在买方提供时，哪些问题触发了相关内容。

Monetization Gateway：让代理按请求付费

另一类机制是 Monetization Gateway，面向 API、数据查询、工具调用等场景。传统账号、API Key 和订阅通常适用于已知客户，但不适合一个临时代理只想完成一次查询的情况。

Cloudflare 称，其封闭测试版允许符合条件的美国客户为经过 Cloudflare 的请求设置价格。当规则匹配时，系统返回 HTTP 402 Payment Required，并使用开放的 x402 协议让代理直接向卖方付款。

计费方式可以包括：

• 按请求；
• 按查询；
• 按 token；
• 固定价格；
• 封顶价格。

例如，一个依赖广告的体育数据站点，可以对“谁是助攻榜第一”这类代理查询收取极小金额，而不是只承担流量成本。

仍未解决的问题

这些机制仍处于测试和探索阶段。Cloudflare 也承认，定价和发现机制尚未完全解决。不同类型的使用会产生不同价值：搜索引用、研究代理引用段落、购物代理完成购买，都可能需要不同的商业模型。

不过趋势已经清晰：网站面对的访问者正在从“人类用户 + 传统爬虫”，变成“人类用户 + 搜索爬虫 + 训练爬虫 + AI 代理”。未来网站运营需要更细粒度地判断谁能访问、访问什么、在什么条件下访问，以及何时应该付费。