llm-echo 0.5:完善模拟 Token 用量统计
更新内容
llm-echo 是 LLM 工具的调试插件。它提供一个不调用实际大语言模型的“模型”,用于回显传入的提示词。
在为 LLM 新版本测试 PR 的过程中,开发者重新检查了该插件,并发布了 0.5 版。此次更新完善了模拟 Token 用量统计,将以下内容纳入计算:
- 工具调用
- 系统提示词
- 推理 Token
使用示例
运行以下命令,启用模拟思考输出并显示 Token 用量:
uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage
示例输出如下,保留程序输出格式:
First I consider the prompt, then I decide what to say.
{
"prompt": "hi there",
"system": "",
"attachments": [],
"stream": true,
"previous": []
}
Token usage: 2 input, 24 output
其中,英文首句意为“首先考虑提示词,然后决定说什么”;末行表示模拟统计为 2 个输入 Token、24 个输出 Token。这些是调试插件生成的模拟结果,并非实际模型的推理过程或用量。
浏览(2)
