LenVM 入选 COLM 2026 Spotlight:用价值模型预测生成长度省算力

xwang_lk · x · 2026-10-06

LenVM(Length Value Model) 将在 COLM 2026(10 月 5–9 日)的 Efficient Reasoning Workshop 上作为 Spotlight 论文 展示,并于 10 月 7 日主会议张贴海报(#42)。

核心思路:token 是推理算力的基本单位,生成长度直接影响成本、延迟、KV cache 与推理质量;随着推理链和 agent 工作流越来越长,token 预算成为瓶颈。但现有方法大多只在粗粒度的序列层面操作,生成长度本身缺乏系统建模。

LenVM 把长度建模与 reward/value modeling 连接起来:给每个生成 token 赋一个常数成本,剩余长度就变成了一个价值预测问题,从而得到稠密、无偏、无需人工标注的监督信号,为 length modeling 开辟新的 scaling 维度。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →