Lampinen 梳理自证推理源头:STaR 如何让模型靠自筛正确答案变强
AndrewLampinen · x · 2026-10-14
Andrew Lampinen 在合成数据讨论串中回顾 STaR(Self-Taught Reasoner,Zelikman 等人的经典工作),作为「模型自我改进并非问题」的论据之一。
STaR 的做法:先用 few-shot 提示让模型为数据集中所有问题生成解题理由(rationale),只收集能导出正确答案的理由,再用这些数据继续微调模型——即通过在可验证任务上自我推理并过滤正确结果来实现自我提升。这是如今推理模型自我训练路线的源头之一。
所属事件:多项研究表明合成数据累积不会导致模型崩溃(4 条相关)→
「研究」频道最新
- 经济学家用 AI 智能体模拟发放横财访谈:一个 AI 深陷遗产规划 — soumitrashukla9 · 2026-10-14
- MoE 模型 RL 训练做到零训练-推理不一致,全套开源含消融 — yacineMTB · 2026-10-14
- 1532 例基准测试:前沿 LLM 在压力与利益冲突下更易欺骗 — lulzxdxdxd · 2026-10-14
- 把问题当程序、指标、搜索,再到开放式科学发现 — madhavsinghal_ · 2026-10-14
- elder_plinius 发布 V3R1T4S:用闲置算力攻克开放问题,一切需可验证 — Kyrannio · 2026-10-14
- RigidFormer 入选 NeurIPS:用 Transformer 替代物理引擎模拟刚体动力学 — camenduru · 2026-10-14