腾讯 LoCo 用局部偏好学习教会模型何时停止思考，推理大幅变短且不掉准确率
tencent · hf · 2026-11-04
腾讯（微信 AI）与西安交大的论文提出 LoCo（Local Preference Learning），针对推理模型「拿到足够信息后仍继续 deliberating」的过度思考问题压缩推理链。
- 与现有在整条推理轨迹层面操作的压缩方法不同，LoCo 关注「当前状态下是否还需继续推理」的局部决策：从模型自己的 trace 中检测候选过度思考状态，冻结对应推理前缀，重新生成更短且经验证的续写。
- 由同一状态出发的续写构成状态条件化偏好对，用 DPO 训练，教会模型何时继续、何时收尾，而非单纯鼓励更短轨迹。
- 训练数据完全由自生成的数学 trace 构造，在数学与代码任务上输出长度大幅缩短的同时保持甚至提升准确率。
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04