Cloudflare 探索自研模型:用小模型处理决策与信息抽取

Latent Space5 小时前

从托管模型到开发模型

Cloudflare AI 平台产品负责人 Michelle Chen 在 AI Engineer Code Summit 上表示,公司正在进入模型开发领域,并以“neolab”(新型 AI 实验室)描述这一转变。

这一标签并不完全贴合 Cloudflare:neolab 通常指以研究为核心的 AI 初创企业,而 Cloudflare 已是一家拥有成熟业务的上市公司。相比标签本身,更值得关注的是其技术方向:在基础设施、计算、存储和模型托管之外,开始开发适合自身平台的模型。

这条路线目前涉及两款被称为“System One”的模型:决策模型 Clef,以及信息抽取模型 Clairic。

Clef:不必把每个请求都交给大模型

Chen 表示,Clef 的设计直接受到 TypeSafe AI 的 Jev 模型启发。团队在已有范式和 API 设计的基础上,用约两周时间完成了 Clef 的开发;她同时强调,这建立在 TypeSafe AI 长期探索的基础之上。

其核心思路是:并非每项任务都需要通用大语言模型,一部分工作可以交给更小、更快的专用模型。

按照 Chen 的介绍,这类 System One 模型追求的是毫秒级响应,而不是以秒计的生成过程。这与 Cloudflare 重视速度和低延迟的基础设施定位相契合。不过,现有材料没有给出具体测试条件、延迟分布或与其他模型的性能对照,不能据此判断实际部署中的速度与效果。

Clairic:从非结构化输入中提取类型化数值

与面向决策的 Clef 不同,Clairic 被定位为“System One 信息抽取模型”。Chen 介绍,它可以从非结构化输入中抽取、计算、估计和预测数值。

团队选择这一方向,是希望处理一些使用通用大语言模型显得过重、结果又不总是可靠的任务。例如,读取发票中的订单编号,需要的是准确提取已有字段,而非生成一段解释。

Clairic 的设计目标,是通过一次前向计算,从非结构化数据中提取具有明确类型的值,例如数字。

Chen 将这一设计与自回归大语言模型作了对比,认为后者在此类任务中可能出现幻觉或输出格式不正确的 JSON。但这属于其对产品设计动机的解释,并不等于 Clairic 已被证明能够消除这些问题;现有材料未提供准确率、错误率或独立评测结果。

后续重点是后训练,而非从零预训练

Cloudflare 的模型计划可能不止于 System One。Chen 表示,团队也在尝试推理模型和其他大语言模型,但从零开展前沿模型预训练并非当前重点。

她介绍,团队的大部分工作集中在后训练,目标是利用已有模型资源,提高其效率和任务表现。

自主开发模型也被视为降低外部依赖的一种方式。Chen 提到的顾虑包括:闭源模型无法自行部署、潜在监管变化,以及模型许可费用。这些是公司对研发方向的考量,不代表相关风险已实际发生。

值得关注的不是标签,而是任务分工

Cloudflare 此次介绍的方向,是让专用模型承担决策、字段抽取等边界较明确的任务,而不是让通用大语言模型处理所有请求。

对于开发者,接下来值得关注的是这些模型的可用性、接口约束、实际延迟和准确率。现有介绍说明了产品思路,但尚不足以判断它们在具体业务中能替代多少大模型调用。

评论

请登录后发表观点

暂无数据