LenVM 入选 COLM 2026 Spotlight:用价值模型预测生成长度省算力
xwang_lk · x · 2026-10-06
LenVM(Length Value Model) 将在 COLM 2026(10 月 5–9 日)的 Efficient Reasoning Workshop 上作为 Spotlight 论文 展示,并于 10 月 7 日主会议张贴海报(#42)。
核心思路:token 是推理算力的基本单位,生成长度直接影响成本、延迟、KV cache 与推理质量;随着推理链和 agent 工作流越来越长,token 预算成为瓶颈。但现有方法大多只在粗粒度的序列层面操作,生成长度本身缺乏系统建模。
LenVM 把长度建模与 reward/value modeling 连接起来:给每个生成 token 赋一个常数成本,剩余长度就变成了一个价值预测问题,从而得到稠密、无偏、无需人工标注的监督信号,为 length modeling 开辟新的 scaling 维度。
「模型」频道最新
- 网友热议:新实验室 Persimmon 被低估,用户模拟器或成 RL 环境印钞机 — willcb · 2026-10-06
- 用户一天两次撞上 Claude 5 小时用量上限:额度紧张依旧 — kevinkern · 2026-10-06
- beam 被评为西方第二强模型,且即将开源 — willcb · 2026-10-06
- 算账对比:Anthropic 订阅性价比达 OpenAI 同档 API 的 5 倍以上 — soumitrashukla9 · 2026-10-06
- SemiAnalysis 算账:Opus 5.5 订阅价值超 GPT-6.1 Sol 五倍,OpenAI 被迫砍半用量 — kimmonismus · 2026-10-06
- 四周 F1 提升 8 个点:Bittensor 矿工围攻训练出逼近 SOTA 的安全护栏模型 — bittingthembits · 2026-10-06