MIRA-AC:用代理反馈与分层架构训练自动科研智能体

作者 anirudhg9119 于 10 月 14 日发布长推文串，介绍新工作 MIRA-AC：一套训练自动科研（autoresearch）智能体的方法，核心解决「实验的即时结果不等于决策的长期价值」这一延迟信用分配难题。作者指出，扩展自动科研的关键在于学习「哪个研究方向值得投入下一单位算力」，并按其长期后果分配信用。

已确认

• 问题动机：一次失败实验可能排除了某个假设、为后期突破铺路，而一次快速获利也可能通向死路，因此不能只按即时结果给决策分配信用。
• 架构采用分层设计：元推理器（meta-reasoner）作为外层循环，决定下一步研究什么（WHAT），产出工作单或停止决策；全新执行器（fresh executor）作为内层循环处理执行（HOW）。
• 三个关键想法：分解、价值先验、强化学习，用 harness 把构思（ideation）与执行（execution）分离。
• 学习单元定义：一个研究决策 = 一个 action，它启动的完整调查 = 一个 transition，把信用分配到「选择哪个调查」上，而非优化其后成千上万的执行 token。
• 价值学习：一个生成式 critic 在每个研究决策边界预测剩余回报（Vπ(oₜ) = Eπ[Gₜ | oₜ]），而非对每个执行 token 打分；MIRA-AC 从预训练价值模型初始化共享 actor–critic，critic 用 KL 损失约束，actor 选择下一个调查方向。
• 长程处理：长 episode 装不进单个上下文时，自动压缩会在人为边界切分轨迹，若视之为终止会带来信用偏差。MIRA 在每次决策时重置上下文，但把所有迭代的元推理决策拼回一个逻辑 episode，用长度自适应 GAE 保住早期决策的信用；训练时重建完整 episode，只更新元推理器。
• 成绩提升：仅用代理反馈训练，在未训练版 MIRA 基础上提升真实（gold）任务结果——符号回归 50 → 63 道、物理发现 8 → 10 道、因果发现 76 起（材料截断）。
• 行为变化：在一项 LLM 评审、400 组匹配轨迹对的研究中，能区分不同假设的测试占比从 16.8% 升至 28.0%，对停滞想法反复做微小小改的行为从 33.5% 降至 18.8%。
• 消融发现：即使不做任何 RL 训练，仅把研究决策与执行分离并策展其上下文，就能改善长程推理结构——模型探索更多样的方法族，在定理证明与架构爬山两个环境中找到更好的解。
• 计算开销可控：决策级信用分配只使用 25% token。

为什么重要

• 该工作表明无需昂贵的真实最终结果反馈，仅凭模型自身的代理爬山信号即可让科研智能体学到有长期价值的决策策略，且代理信号训练可迁移到多个 autoresearch 环境。
• 「研究什么」与「怎么做」的分层训练范式，加上把信用分配聚焦在少量决策 token 上，为未来自动科研智能体的训练设计提供了可参考的可行路径。

2026-10-14 ~ 2026-10-14 · 14 条相关

• 把「研究什么」与「怎么做」分开,用RL训练自动科研智能体 — anirudhg9119 · 2026-10-14
• 【源头】MIRA 框架：用分解+价值先验+RL 解决科研 Agent 延迟信用分配 — anirudhg9119 · 2026-10-14
• 为什么科研 Agent 信用分配难：失败实验可能孕育后期突破 — anirudhg9119 · 2026-10-14
• MIRA 架构拆解：元推理器决策 WHAT,执行器处理 HOW — anirudhg9119 · 2026-10-14
• 一个研究决策=一个 action:MIRA 重新定义学习的最小单元 — anirudhg9119 · 2026-10-14
• 不训练也有效:决策与执行分离即提升长程推理表现 — anirudhg9119 · 2026-10-14
• 生成式 Critic 预测剩余回报:从部分研究证据学进展价值 — anirudhg9119 · 2026-10-14
• MIRA-AC：从预训练价值模型初始化共享 actor–critic — anirudhg9119 · 2026-10-14
• 跨上下文重置拼接 episode：长度自适应 GAE 保住早期信用 — anirudhg9119 · 2026-10-14
• MIRA-AC 实验结果：代理信号训练可迁移,决策级信用分配只用 25% token — anirudhg9119 · 2026-10-14
• MIRA-AC 训练细节:重建完整 episode,只更新元推理器 — anirudhg9119 · 2026-10-14
• 【源头】MIRA-AC 用代理反馈训练自动科研策略,多项发现任务成绩提升 — anirudhg9119 · 2026-10-14
• 【源头】MIRA-AC 行为对比:区分性假设测试 16.8%→28%,无效微调近半减 — anirudhg9119 · 2026-10-14
• 自动科研智能体实测:假设区分测试占比从 16.8% 升至 28% — anirudhg9119 · 2026-10-14