LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2%
jiqizhixin · x · 2026-11-19
Lehigh 大学、UBC 与 Vector 研究院的研究者提出 LEV,一个在显式选项间做选择的循环(looped)决策模型,让同一 checkpoint 对更难的问题花更多算力。
方法要点
- 每一轮复用同一组预训练层,共享的 pointer head 在每个深度都重新为选项打分;一个无需答案标签拟合的 stopper 估计当前选择何时会与最深一轮一致,从而提前退出。
- 推理时按请求自适应决定深度,部分请求第 1 步就退出,深度越大算力成本越高。
结果
- 在 JevBench 公开的 231 个样本上,2.6B 模型从单轮 63.2% 提升到四轮 76.2%,两处用的是同一个 checkpoint。
- 自适应停止在留出评测上相对固定深度推理节省 15–24% 的循环计算,准确率损失不足 1 个百分点;作者注明节省只计循环计算,服务延迟需另行测量。
「研究」频道最新
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19