开放的智能体互联网:可读、可发现、可调用、可支付

Cloudflare AI Bl14 天前

AI 智能体正在成为新的网页访问者

大量“表现良好”的机器人流量正在反复抓取并未变化的页面,形成了规模巨大的无效请求。这反映出一个矛盾:今天的网页主要为人类浏览器设计,但正在被另一类访问者使用——AI 智能体。

智能体并不会像人类一样渲染 CSS、查看头图或点击广告。它们通常代表某个真实用户或企业执行任务,背后可能有明确目的和成本预算。若网站简单地把它们当作传统爬虫屏蔽,可能也会阻断潜在用户的请求。

围绕这种新访问者,文章提出了“智能体互联网”的设想:未来的网站和服务需要变得可读、可发现、可调用、可支付

为什么现有网页机制不够用

传统网页的核心假设是:

  • 用户通过浏览器访问页面;
  • 页面以 HTML、CSS、图片和交互组件呈现;
  • 商业模式依赖页面浏览、广告展示、登录或订阅;
  • 分析工具主要围绕人类用户行为设计。

但智能体访问网页时,很多环节会失效:

  • 它不需要视觉化页面,却必须处理大量与任务无关的标记和样式;
  • 它可能不会触发广告展示;
  • 它需要明确知道哪些内容、接口或操作可以被使用;
  • 它可能需要在执行任务时直接付款或证明授权;
  • 网站也需要区分可信智能体、未授权抓取者和恶意流量。

因此,围绕智能体的开放互联网需要新的协议和工具,而不是让所有交互都封闭在少数平台内部。

四个关键词:可读、可发现、可调用、可支付

1. 可读:让智能体以更低成本理解网页

对智能体而言,完整 HTML 页面里包含大量为人类视觉体验准备的信息,例如样式、布局、图片和交互元素。这些内容可能增加带宽和 token 消耗,也会占用上下文窗口。

面向智能体的可读性,重点是让服务器能够提供更适合机器理解的内容格式,例如精简后的 Markdown 表达。这样可以减少无效信息,降低读取成本,并提高任务执行效率。

文章还提到一种面向智能体设计的浏览器思路:浏览器可以按请求启动、用后销毁,只保留智能体执行任务所需的能力,而不是完整复制传统人类浏览器的全部功能。

2. 可发现:让智能体知道资源在哪里

智能体在读取内容、调用工具或完成交易前,首先需要知道相关资源存在。

传统搜索依赖关键词输入和人工浏览结果页,而智能体需要更适合机器使用的发现接口。对网站而言,被智能体发现也变得重要:如果某个品牌、内容或 API 无法被用户常用的智能体识别和推荐,那么对这些用户来说,它可能近似于“不可见”。

文章提出,网站运营者未来可能需要衡量自己在不同模型和智能体中的可见性,并针对智能体优化内容与接口。

3. 可调用:让智能体直接执行操作

在人类网页中,订位、续订、生成报告、添加待办事项等操作通常依赖界面交互。智能体若要完成同样任务,往往需要解析 HTML、猜测按钮含义、模拟点击,并承受页面结构变化带来的不确定性。

更适合智能体的方式是:网站明确暴露可调用的操作能力,让智能体知道可以做什么、参数是什么、结果如何返回。

这种“工具契约”一旦明确,智能体就不必再猜测表单字段或按钮含义。若工具运行在用户已有会话中,还可以复用用户当前登录状态和上下文。

文章还提到,智能体往往更擅长以代码方式表达调用逻辑,因此通过代码调用工具可能比自然语言描述更快、更准确。同时,网站也能更清楚地知道哪些内容或能力正在被使用,而不是只能看到模糊的页面抓取行为。

4. 可支付:为内容和 API 建立新的结算方式

智能体访问网页不会天然带来广告展示,传统依赖页面浏览和广告曝光的模式可能面临压力。若用户是程序而不是人类,按座席收费等模式也不一定适用。

文章提出,智能体互联网中的每次请求都可能有明确用途和成本,因此内容、数据和 API 可以探索更细粒度的付费方式。例如:

  • 食谱网站按单次读取收取极小金额;
  • 地方媒体在文章被读取时授权收费;
  • 数据服务允许超出限额的访问通过付费继续使用;
  • 智能体携带由用户预设预算的钱包完成支付。

在这种模式中,每次付费交互都应留下凭证:内容方能证明某个智能体读取了某项资源,智能体也能证明自己为使用内容或接口支付了费用。

身份是协作的前提

智能体能否被网站接受,首先取决于身份是否可信。

传统网页中,浏览器通过 User-Agent 标识自己。但这个字段容易伪造,网站很难据此判断访问者真实身份。文章提到的方向是,让机器人能够通过加密方式向网站证明自身身份,使网站不必依赖猜测。

同时,一些网站已经能通过登录、应用内行为或购买记录识别用户。基于隐私保护的令牌机制,可以让网站在不暴露用户身份的情况下,为可信访问提供证明,从而减少合法智能体访问时的摩擦。

不是所有机器人都一样

文章强调,传统的“机器人坏、人类好”二分法已经不够准确。

智能体可以产生有价值的行为,例如:

  • 以节省资源的方式读取内容;
  • 按网站指定方式交互;
  • 为使用内容或接口付款;
  • 代表真实用户完成明确任务。

但它们也可能产生不受欢迎的行为,例如:

  • 大规模抓取页面而不补偿资源消耗;
  • 试图绕过访问限制;
  • 忽略 robots.txt;
  • 对网站造成过高负载。

因此,网站未来需要的可能不是简单屏蔽所有机器人,而是更精细地识别、授权、计费和限制。

对网站和内容生产者的启示

如果智能体成为重要访问者,网站运营者可能需要重新思考几个问题:

  1. 内容是否适合机器读取?
    是否能提供精简、结构化、低成本的内容表达,而不仅是面向人类视觉呈现的页面。

  2. 服务是否能被智能体发现?
    是否有清晰的元数据、搜索接口或面向智能体的可见性策略。

  3. 操作是否能被明确调用?
    是否能把订购、查询、预约、生成报告等动作以稳定接口暴露出来。

  4. 商业模式是否适应机器访问?
    如果没有广告展示或页面浏览,是否需要按读取、调用或结果计费。

  5. 访问控制是否足够细致?
    是否能区分可信智能体、付费智能体、超限访问和恶意抓取。

小结

智能体互联网的核心问题不是“是否允许机器人访问”,而是如何让代表真实用户的智能体与网站、内容方和服务提供者形成可验证、可控制、可结算的关系。

文章提出的方向包括:用加密身份替代可伪造的 User-Agent,用机器友好的内容格式降低读取成本,用明确工具接口替代页面模拟点击,并通过细粒度支付机制弥补传统广告和页面浏览模式的不足。

这些设想仍依赖协议、工具和生态协作的发展,但它们指向了一个重要趋势:网页的访问者正在从“只会点击的浏览器用户”扩展为“能读取、调用、支付并代表人类执行任务的智能体”。

评论

请登录后发表观点

暂无数据