从搜索排名到 AI 推荐：网站如何迎接智能体访问

Cloudflare AI Bl14 天前

你的下一个客户，可能不再是通过搜索引擎找到你的网站。

他们可能会直接询问 AI 助手：

“我该怎么做 X？”
“哪种选择最适合我？”
“帮我直接处理这件事。”

随后，智能体会替用户查找答案、比较选项，并可能代表用户采取行动。越来越多时候，决定客户是否选择你的关键时刻，发生在模型生成回答的过程中，而不是用户打开你的网站首页之后。

机器访问正在成为主流信号

Cloudflare 提到，按其统计，目前 HTML 页面请求中，来自真人的比例已经低于一半。并非所有机器请求都是代表用户行动的智能体，但这一比例正在快速增长。问答引擎、购物助手、研究工具等系统，正在影响哪些企业会被发现、被引用、被推荐。

过去，网站可见性主要意味着在搜索结果页中获得排名。现在，它还意味着能否被智能体发现、读取，并被其有信心地推荐给用户。

传统指标如点击量、页面浏览量，已经不足以完整反映网站在 AI 时代的曝光情况。许多站点所有者能在访问日志中看到大量 AI 机器人，却并不知道这些机器人是否真正能使用网站内容，也不知道自己的产品或服务是否会被推荐。

核心问题变成了两个：

智能体能否真正使用我的网站？
AI 助手是否在推荐我？

Agent Readiness：网站是否适合智能体读取

Agent Readiness 的诊断功能，主要用于检查网站对智能体是否友好。它会模拟智能体读取网站的方式，检查智能体是否被允许访问、是否能发现内容、是否能获取干净的机器可读版本，以及是否能找到可调用的接口。

人类用户通常只需要加载首页；但智能体会依赖更多结构化线索，例如：

robots.txt
XML sitemap
响应头
Markdown 版本内容
认证与工具相关的元数据

诊断结果会将站点归入从“未准备好”到“适合智能体原生访问”的不同状态。每一项检查会显示通过、失败或中性结果，并说明该项为何重要，同时保留具体请求与响应作为证据。

检查项目按实施难度分组

1. 快速改进项

这类通常是高影响、低门槛的基础配置，包括：

可被爬虫读取的 robots.txt
XML sitemap
面向 AI 爬虫的规则
向智能体提供干净的 Markdown 内容

2. 技术基础项

进一步的基础设施包括：

内容使用声明信号
API 目录
Link headers
智能体登录说明

3. 高级集成项

更偏向智能体原生能力，包括：

OAuth discovery
MCP（Model Context Protocol）
A2A（Agent2Agent）agent cards
skills index
Web Bot Auth
WebMCP

4. 商业与支付相关标准

这一类涉及新兴的智能体支付与交易标准，例如：

x402：对传统 HTTP 402 Payment Required 状态码的扩展
ACP（Agent Commerce Protocol）
UCP（Universal Commerce Protocol）
AP2（Agent Payments Protocol）

这些项目目前更多用于信息提示，不计入准备度评分。

AEO：AI 助手是否推荐你

Agent Readiness 关注智能体能否读取网站；AEO（Answer Engine Optimization）关注的是下一步：当用户在你的行业或品类中向 AI 助手提问时，它会推荐你，还是推荐竞争对手？

这类表现不像搜索排名那样容易查询。没有统一的展示次数，也没有未点击报告。当竞争对手被模型点名，而你没有被提及时，你可能根本不知道这次机会已经流失。

AEO 的方法是：先从网站内容推断行业和品类，例如“健康与健身”“运动服饰”等，再用接近真实客户的问题去测试主流 AI 助手的回答。目前提到的测试对象包括 Anthropic 的 Claude 和 OpenAI 的 GPT。

这些问题会模拟真实发现路径，例如：

请求推荐
比较产品
咨询某一品类中的通用建议

通过观察模型如何回答，可以得到几类指标。

Citation Rate：引用率

衡量在某一品类相关回答中，AI 助手有多大比例将你的网站作为信息依据引用。

Prominence：显著性

当你的网站被引用时，评估你的内容在答案中占多大比重，以及出现位置是否靠前。

Mention Rate：提及率

衡量 AI 助手在回答中提到你品牌名称的频率。它不要求一定引用你的网站。

这一指标需要与引用率一起看：如果模型经常提到你的品牌，但很少引用你的网站，说明你在模型认知中已经有一定存在感，但还没有转化为明确的信息依据。

衡量你与竞争对手在模型引用中的占比，用于判断在你输掉的提示词场景中，谁正在获得更多推荐。

为什么要建立行业基准

为了评估 AI 模型如何看待某个站点的市场存在感，AEO 会先为行业和品类建立基准。做法是：在不指定品牌的情况下，向 AI 助手提出该品类下的常见问题，并记录哪些网站被引用、出现顺序如何、内容显著性如何。

这些基准并不是每次扫描网站时都重新生成，而是按品类预先运行并复用。这样做有三个作用：

降低等待时间：结果可以从快照中快速加载，而不是等待实时模型查询。
减少计算开销：按品类聚合查询，避免大量站点重复调用 AI。
形成行业匹配评分：通过复用同一组回答数据，可以观察哪些品牌经常共同出现，从而判断 AI 助手是否把你的网站与真实竞争对手放在同一语境中。

多模型、多次提示与结果评估

AI 助手很少会对同一个问题给出完全相同的答案。为了降低随机性，Cloudflare 使用 AI Gateway 对不同模型进行多次提示，并分析用户实际会看到的回答文本和引用信息。

评估并不只看是否被提到，还包括：

是否作为信息依据被引用
引用出现得是否靠前
最终答案中有多少实质内容归因于你

在需要判断的环节，Workers AI 会读取回复并评估引用和提及方式；同时也会使用精确文本分析，而不是完全依赖模型自评。这样可以把多次分散的回答汇总成更可行动的指标。

还要关注真实爬取与转介行为

除了模型回答层面的指标，AI Operator Activity 会展示不同操作者在站点上的真实爬取和转介情况，例如 OpenAI、Google 等：

谁读取了你的内容
谁把访问者带回你的网站
访问过程中遇到了哪些错误，例如 403 阻止、404 死链

其中一个值得关注的模式是：某个操作者爬取了大量页面，却没有带回任何访问者。这可能意味着它正在使用你的内容，但没有把潜在客户引回你的网站。

网站的新受众：AI 智能体

过去，判断智能体是否访问或理解你的网站，往往只能靠查看日志，或手动向聊天机器人提问并观察是否提到自己。这种方式既不系统，也难以持续衡量。

Agent Readiness 和 AEO 的思路，是把智能体视为网站的重要用户群体：一方面检查网站是否允许并方便智能体读取，另一方面观察 AI 助手在真实用户问题中是否引用、提及或推荐你。

随着智能体逐渐参与搜索、比较、购买和任务执行，网站运营者需要面对的不只是人类访客，还有能够替用户做决策的机器访问者。对这类访问者而言，清晰的结构、可读的内容、明确的权限和可信的引用路径，都会影响网站能否进入 AI 助手的回答。