把推理看作 token 空间寻路:RL 优化的是命中率而非单链正确性
bibryam · x · 2026-11-20
Alex Wang 撰文探讨「推理到底在解决什么目标」这一问题,提出把 LLM 推理理解为 token 空间中的寻路(pathfinding):模型每次采样都是在从 prompt 出发寻找通往正确答案集合的路径。
核心论点:
- RL 训练最大化的是「找到正确路径的概率」,而非每条单一路径本身的正确性;单条思维链并不保证收敛到最优答案。
- 扩大 RL 规模(更多采样、更长思维链)能提高成功概率,但也会因验证器不完美而加剧 reward hacking 风险。
- 推理时「想得更久」之所以有效,是因为训练时投入的算力在寻找成功路径上被摊销进了模型权重,而非单链真的在逐步逼近最优。
这一视角还解释了一些反常现象,如思维链不忠实(unfaithful CoT)与过度思考反而变差等。
「模型」频道最新
- 前研究员:xenny 称 Gemini 已能自行执行后训练,差距只在品味 — xennygrimmato_ · 2026-11-20
- GPT-6.2 Astra/Sol 被骂仍霸榜:成本优势大到能力打折也在 Pareto 前沿 — haider1 · 2026-11-20
- Google 发布中端新模型 Gemini 4 Neon:低成本前沿智能 — emmanuelvivier · 2026-11-20
- 截图曝光 Gemini 4 家族:Neon/Argon/Hydrogen 亮相,Carbon 不可用 — createyourwebsite · 2026-11-20
- Qwen4-Max 实测:前端与 Agent 能力大增,Agentic Coding 有点说法 — karminski3 · 2026-11-20
- 季度提醒:是时候真正搞懂 MoE 模型的路由机制了 — ariG23498 · 2026-11-20