首个形式化理论：mid-training 如何塑造 RL 后训练效果
burkov · x · 2026-10-13
Burkov 介绍了一项建立首个形式化理论框架的工作，解释 mid-training（在 RL 后训练之前对专家演示做继续预训练）如何影响下游强化学习。
- 现状：LLM 越来越依赖 RL 完成代码生成、多步推理等复杂任务，而 RL 出好结果通常需要 mid-training 这一中间阶段。
- 问题：标准 mid-training 用 next-token prediction，把每个 token 当独立决策，决策空间巨大、规划视野很长，导致其对 RL 的影响机制不清晰且计算开销大。
- 贡献：基于该理论提出 Reasoning as Action Abstraction 的思路，将推理视为动作抽象，以更紧凑的决策空间理解并优化 mid-training 对 RL 的作用。
「研究」频道最新
- 世界模型研究结论:堆数据无用,关键是从数据里榨出更多;精确物理仍缺位 — mangahomanga · 2026-10-13
- 独立开发者自建推理库训练 SVG 生成模型:进化算法败给 SGD — cephaloform · 2026-10-13
- 哈佛与NTT研究：AI智能体群体规模越过临界点将失控自增殖 — Hidenori8Tanaka · 2026-10-13
- JHU 等发布 RT-Super：用影像报告替代人工标注训练肿瘤分割 — maier_ak · 2026-10-13
- 普林斯顿QUEEN模型：4B参数既能下大师级象棋又能讲解思路 — jiqizhixin · 2026-10-13
- 牛津研究：可在模型权重里加密隐藏任意能力，微调 500 步仍不解密 — zainhas · 2026-10-13