大模型的规模与版本号,分别说明什么?
模型能力不是一张单维排行榜
大语言模型的表现具有多个维度。一个模型最擅长数学,并不意味着它也最擅长讲笑话,因此不能保证所有任务都有相同的模型排名。
尽管如此,模型规模仍能解释相当一部分性能差异。一般而言,更大的模型通常具有以下特点:
- 性能更强、可靠性更高;
- 每个 token 的成本更高;
- 对冷门知识的记忆和提取能力更强。
所讨论的模型按规模由小到大排列为:
Luna < Terra < Sol < Astra
这里的规模顺序,不应被理解为它们在每一项具体任务上都有完全相同的表现顺序。
版本号不只代表发布时间
版本号可能同时传达三类信息:
- 发布顺序:哪个版本更早或更晚推出。
- 版本之间的关联:例如训练数据或模型性格是否具有相似之处。
- 改进幅度:这次更新是否足以被视为一次大版本升级。
以一个假设的 6.1 版本为例:它可能晚于 5.6 发布,同时在训练数据或模型性格上与其他 6.1 模型存在相似之处,因此没有命名为 5.7;但它的提升又未必大到足以支撑 7 这一版本号所带来的关注与期待。
模型规模与版本号表达的是不同信息,也都不能单独构成所有任务上的能力排名。
浏览(11)
