0.8B 微调模型在自有决策分类上击败 105B 的 Sarvam Prism
HowDevelop · x · 2026-11-05
转发 @Nandakishorm1 的 Sarvam Prism vs. Laya/Vega 系列对比：对于类型化决策任务，并不需要 105B 的大模型。作者为端侧设备打造的 Laya/Vega 系列，配图数据显示 0.8B 的 vega 经拟合校准后在同一批 400 个 held-out 案例、2000 次决策上全面超过 zero-shot 的 Sarvam Prism：
- 全部决策：71.3% vs 69.8%（+1.5pts）；yes/no 任务 +2.5pts
- 速度：本地 358ms vs 远程 940ms，快 2.6 倍
- 成本：本地 0 卢比 vs 每次调用 1.51 卢比
作者公开了 Kaggle 复现 notebook（需配置 HFTOKEN 和 PRISMAPI），并呼吁所有公司都公开 benchmark notebook。注：Prism 在校准和通用 benchmark 上仍领先，对比是「拟合 vs cold」设定。
「研究」频道最新
- 免费公开课解读推测解码：为何多算反而更快 — doesdatmaksense · 2026-11-05
- 阿里发布 E-GenRM：用真实用户行为训练电商购物 Agent 奖励模型 — _reachsumit · 2026-11-05
- Metanova 参观 Ginkgo 机器人实验室，$TAO SN68 冲刺「实验室闭环」 — bittingthembits · 2026-11-05
- AI-GENIE 方法用 LLM 自动生成并验证心理量表,五千人样本验证有效性 — GolinoHudson · 2026-11-05
- 把「想法」注入神经网络，新研究测试 LLM 是否能内省自己的思维 — tallinzen · 2026-11-05
- arXiv 论文：用户智能体跨平台比价时，平台竞争未必让用户受益 — _reachsumit · 2026-11-05