Cloudflare AI Search 简化企业数据检索与智能体接入

Cloudflare AI Bl14 天前

概览

Cloudflare 宣布改进 AI Search 的开发者体验,目标是让开发者无需再手动拼接 Workers AI、AI Gateway、Vectorize、R2、Browser Run 等组件,就能为自己的文件、网站和智能体构建搜索能力。

AI Search 现在可以自动处理数据抓取、摄取、嵌入、检索等流程,用于帮助智能体在自有数据中查找信息,并生成更可靠的回答。

Cloudflare 同时公布了 AI Search 的早期计费模型预览。其设计重点是可预测、可扩展:在使用默认模型时,嵌入和重排免费,因此用户不需要单独预估相关 token 成本。

本次更新的主要能力

AI Search 新增或强化了以下功能:

  • 为智能体索引数据集合
    可将结构化和非结构化数据变成智能体可检索的内容,包括单个文件和自有网站。目前网站必须是 Cloudflare 账户中的 zone,后续将提供更多所有权验证方式。

  • 网站无需 sitemap 也可接入
    过去网站集成需要 sitemap。现在可选择 “Discover” 解析选项,通过跟随链接发现页面,从而添加没有 sitemap 的网站。

  • 为命名空间提供统一公开搜索端点
    启用公开 URL 后,可获得 /search/mcp 端点,用于在多个实例或多个网站之间进行统一搜索。该方式无需认证,便于对外共享。

  • 支持自定义域名
    用户可以为公开端点绑定自定义域名,例如 search.example.com/mcp,用于品牌化搜索或 MCP 服务。也可以通过 Cloudflare Access 将搜索实例设为私有访问。

  • 支持 EmDash 站点语义搜索
    如果网站运行在 Cloudflare 的开源 CMS EmDash 上,可通过 AI Search 插件为内容添加语义搜索能力。

  • 公布 AI Search 计费模型预览
    Cloudflare 表示,使用 AI Search 默认模型或 Workers AI 目录中的部分指定模型时,嵌入和重排不额外计费。预览价格在正式计费前仍可能变化。

在 Cloudflare Dev Stack MCP 中的应用

Cloudflare 将 AI Search 用在新的 Cloudflare Dev Stack MCP 中。该 MCP 面向编码智能体,提供来自 Cloudflare 开发者生态的当前文档内容,并带有引用信息,帮助智能体避免依赖过时训练数据。

其构建方式包括三个步骤。

1. 为不同内容面建立索引

Cloudflare 为多个自有内容面分别创建 AI Search 实例,包括:

  • Docs
  • Blog
  • API Docs
  • Community
  • Astro
  • Vite
  • Vitest
  • Hono
  • Replicate
  • OpenNext

这些内容分布在不同域名下,但由于 Cloudflare 拥有这些网站数据,AI Search 可以统一摄取它们。开发者只需将 AI Search 指向一个或一组网站,系统会处理抓取、摄取、嵌入和检索。

对于没有 sitemap 的站点,可使用 Discover 解析方式,通过链接发现页面。该能力由 Browser Run 的 /crawl 提供支持。

2. 将多个实例组合为一个搜索入口

Cloudflare 提供了两种方式来跨多个 AI Search 实例回答同一个查询。

方式 A:通过 Worker 集成

Cloudflare 在 Dev Stack MCP 中采用这种方式:将命名空间绑定到 Worker,创建远程 MCP server,并对 10 个实例发起一次多实例调用。

这种方式适合把搜索能力合并到已有应用或 MCP server 中,让搜索作为智能体可调用的工具之一。

方式 B:直接启用公开端点

如果不想编写 Worker,可以在命名空间中启用公开 URL。系统会立即提供 /search/mcp 端点,用于查询所有实例,无需认证,也无需部署额外代码。

这种方式更适合快速创建可分享的搜索入口。

3. 品牌化与访问控制

公开端点默认会提供公共 URL。用户也可以绑定自定义域名,例如:

search.example.com/mcp

如果搜索内容需要限制访问,可以在该域名前增加 Cloudflare Access,使端点要求登录,仅允许授权用户或智能体查询。

面向开发文档与官网搜索的使用场景

Cloudflare 表示,其 Blog 搜索已经运行在 AI Search 上,Developer Docs 和官网搜索也加入使用。

这些搜索使用混合搜索方式,即在同一次查询中结合:

  • 语义搜索
  • 关键词搜索

这样既可以处理开放式问题,例如“这个功能做什么”,也可以处理精确名称或关键词查询。

Cloudflare 最近将 Blog 重建到开源 CMS EmDash 上,新的 EmDash AI Search 集成也用于支撑其搜索能力。运行在 EmDash 上的网站同样可以使用该插件为内容添加搜索。

对爬虫与机器人规则的处理

AI Search 底层由 Browser Run 的 /crawl 提供支持,但使用独立的机器人身份:

Cloudflare-AI-Search

Cloudflare 表示,该机器人会遵守 robots.txt,使用不可变的公开 user agent 标识自身,并遵守网站配置的机器人控制策略。

计费预览:强调可预测性

AI Search 目前处于 beta 阶段,暂时免费,尚未启用计费。Cloudflare 表示,在开始计费前会提前通知用户。

本次披露的是面向正式可用阶段的计费预览,覆盖:

  • 摄取
  • 存储
  • 查询
  • 嵌入
  • 重排

其中,嵌入用于将文本转为向量,重排用于调整搜索结果顺序,使更相关结果排在前面。Cloudflare 表示,在使用 AI Search 默认模型或 Workers AI 目录中的部分指定模型时,这两项免费。

回答生成和查询改写属于可选步骤,会基于用户选择的模型运行,并按 Workers AI 使用量计费;用户也可以使用 AI Gateway credits 连接其他模型或供应商。

Cloudflare 给出的示例场景包括:

  • 一个包含 20,000 份文档的数据源
  • 文本文档约 20M tokens
  • 另有 1,000 张图片,每张约 1,000 tokens
  • 每月 30,000 次语义查询
  • 使用默认 AI Search 嵌入和重排模型
  • 摄取时按约 10% 重叠进行分块

示例中提到,图片会计入基础摄取,也会产生图片附加成本;存储假设为每份文档约 10 KB、每张图片约 1 MB。由于索引主要是一次性成本,后续月份主要由查询构成,示例中后续月份成本接近 21 美元。该价格属于预览,正式计费前可能调整。

适用场景

从本次更新看,AI Search 更适合以下场景:

  • 为企业内部文件或自有网站构建搜索
  • 为编码智能体提供实时文档检索工具
  • 为公开网站添加语义搜索和关键词混合搜索
  • 通过 MCP 将搜索能力接入智能体工作流
  • 快速生成可分享的搜索 API 或私有搜索入口

总体而言,这次更新的重点不是新增单一模型能力,而是把抓取、索引、检索、端点发布、MCP 接入和访问控制打包成更完整的搜索产品形态。

评论

请登录后发表观点

暂无数据