Kev 4B 对比 Jev：精度打平，但 Jev 每次请求多算 257 个 token
facethef · reddit · 2026-09-26
Opper 团队将 Jared Palmer 发布的 Apache-2.0 开源微调模型 Kev 4B（基于 Qwen3.5-4B）与 Jev 在同一端点上并列实测，并构建了一套两模型发布之后的新题集来避免训练数据污染。
评测设置
- 362 个全新测试项：新 arXiv 论文、Stack Exchange 问题、GitHub issues，答案取自原始来源
- 评测代码、测试项与结果均已开源在 GitHub
主要发现
- 各任务准确率差距均在 2 个百分点以内，在该样本量下属于噪声范围
- Jev 校准度更好，在复述检测 PAWS 上领先（87.0% vs 74.5%）
- 两者标价相同，但 Jev 每次请求固定多计约 257 个输入 token（直连 TypeSafe 也是同样计数），短请求成本最高可达 12 倍
结论：开源 4B 微调模型在能力上已能与商业模型打平，而计费口径的差异可能才是实际使用成本的关键。
「模型」频道最新
- 800 美元二手 3090 主机本地跑 DeepSeek 4.1，2 量化仅 2-3 token/s — LankyGuitar6528 · 2026-11-11
- 谷歌开源 Harness²：能自己改写系统配置的智能体框架 — Arindam_1729 · 2026-11-11
- 开发者吐槽 Codex 桌面版质量差，弃用客户端改走 CLI — tekbog · 2026-11-11
- 旧模型发布前「变笨」？网友调侃：其实是实验室开派喝醉了 — glcst · 2026-11-11
- Grok Bot 新增隐藏指令检测：发现 prompt 注入即警告并拒绝执行 — XFreeze · 2026-11-11
- 上海创新院开源 Nex-N2.6：321B 多模态智能体模型 — victormustar · 2026-11-11