SFT不该模仿人类答案分布，新论文论证应只学「一个对的答案」
burkov · x · 2026-10-20
- Andriy Burkov 介绍一篇关于监督微调（SFT）本质的理论文章：大多数问题存在大量同样正确的答案，而标准 SFT 最小化 log-loss，本质上是在模仿人类演示者的具体风格和答案分布。
- 作者认为这是错误的目标：成功应被衡量为产出「任意一个」好答案，而非克隆演示者的特定答法；分布匹配在数学、编程、写作等任务上过于严格，且在自然建模假设下理论上站不住脚。
- 文章将任务形式化为上下文老虎机（contextual bandits）中的模仿学习，论证其理论结论。
「研究」频道最新
- 机器人研究者吐槽 ICLR 投稿:无视经典规划算法与 scaling 教训 — KyleMorgenstein · 2026-10-20
- 伯克利团队让 AI 像婴儿一样学语言，获 Schmidt Sciences 资助 — begusgasper · 2026-10-20
- AI 框架识别 ADHD 与焦虑青少年 3 种脑-行为生物亚型,登上 Nature Mental Health — bttyeo · 2026-10-20
- HoliWorld 发布：把第一视角视频自动标注成 3D 框与 4D 跟踪数据 — liuziwei7 · 2026-10-20
- 研究者质疑 mjfit 插轴基准:圆柱轴设定暗藏强先验 — YouJiacheng · 2026-10-20
- Charles Yang:工业过剩产能是科学突破的隐藏引擎,五个历史案例 — charlesxjyang · 2026-10-20