苹果提出 Token 级长度价值模型,优化自回归推理成本
Apple ML Research · rss · 2026-07-20
Apple 机器学习团队提出了一种名为 Length Value Model (LenVM) 的新框架,旨在解决自回归模型中生成长度影响推理成本与推理效果的问题。
现有的长度建模方法大多停留在粗粒度的序列级别,而 LenVM 将其细化到了 Token 级别。该框架将长度建模转化为一个价值估计问题,通过在每个解码步骤预测剩余生成长度,并引入恒定负奖励机制,从而实现更精细、可扩展的预训练与推理控制。
「研究」频道最新
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- Apodex 发布 TRACES 标准:用 423 个真实问题评测"发现型 AI" — Faheem_uh · 2026-09-11
- 科学没有标准答案:TRACES 用六维度评估 AI 过程而非结果 — Faheem_uh · 2026-09-11
- Apodex 推出 TRACES 基准:不打标准答案,专测 AI 探索未知的能力 — Faheem_uh · 2026-09-11