推理研究最大变化：从符号轨迹走向自然语言
denny_zhou · x · 2026-07-27
作者认为，推理研究里最重要的革命不是目标变了，而是推理的“语言”变了：从符号化/程序化的表示，转向自然语言。
- 他回顾自己在 2017 年开始做推理研究时，曾和 @xinyunchen 一起研究数学题和谜题，早期做法是把推理过程写成编程语言中的显式轨迹。
- 当时他们通过 rejection sampling 生成程序轨迹/推理轨迹来训练模型，并据此迭代改进；相关论文发表于 NeurIPS 和 ICLR，时间早于 2022 年。
- 他的核心判断是：想法本身早就存在，真正改变的是推理表达的语言。
所属事件:大模型推理范式演进与单样本任务解决能力(2 条相关)→
「研究」频道最新
- 新论文 PFD 统一解释 SDS 模式坍缩，蒸馏收敛更快方差更低 — burny_tech · 2026-09-23
- 剑桥出版高维统计新教科书,Samworth 与 Shah 合著免费开放 — FrnkNlsn · 2026-09-23
- Reinforce-Ada:按难度自适应分配算力,RLVR 收敛加速至 2 倍 — burny_tech · 2026-09-23
- 论文:Transformer 并非没有世界模型,而是特征叠加互相干扰 — burny_tech · 2026-09-23
- 新论文称 Transformer 难以学会 loop-closure 世界建模 — burny_tech · 2026-09-23
- Epoch AI 报告:「思考」的价格正在暴跌,智能成本持续陡降 — Proper_Actuary2907 · 2026-09-23