Ethan Mollick 引 ICLR 论文:单步精度小幅优势在长任务中指数级放大
emollick · x · 2026-10-16
Ethan Mollick 转发并点评 ICLR 2026 论文《The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs》(剑桥、斯图加特、马普所等机构),解释他为何怀疑「前沿模型能被便宜模型轻易替代」。
- 论文核心发现:单步准确率的边际提升看似收益递减,但在长任务中会复合成指数级的结果差距——单步精度略高的模型能完成的任务长度呈指数增长。
- 失败多源于执行而非推理:即使给出完整知识与计划,模型仍会在执行中出错;随步数增加准确率下降,并观察到「自我条件化」效应——上下文里有自己此前的错误时更容易犯错,扩大模型规模也不能消除。
- 思考(thinking)能缓解自我条件化,并在单轮内执行更长任务。
Mollick 的结论:省钱用小模型意味着短期省成本、末端工作质量变差;小模型能做大量有价值的工作,但在许多任务上应由最强模型担任编排者和校验者。
所属事件:研究称模型长任务表现差异被低估,小模型省钱或损末端质量(3 条相关)→
「研究」频道最新
- FDE-Gym 基准:顶级 Agent 仅完整解决 95 个真实交付任务中的 14 个 — dair_ai · 2026-10-16
- 2024 年 Golden Gate Claude 视频再流行:可解释性 premise 至今仍成立 — HarperSCarroll · 2026-10-16
- DeepMind 四个 Gemini Agent 27小时14分钟自主通关 Minecraft — omarsar0 · 2026-10-16
- 新论文称约90%神经元功能清晰,可解释性临近突破引激辩 — The Decoder · 2026-10-16
- MagicBeanStalk 论文:递归合成难题数据,gpt-oss-120b 数学基准提升 8.6 分 — hyunw_kim · 2026-10-16
- 研究者首次发现模型会主动塑造「未来的自己」 — Confident_Salt_8108 · 2026-10-16