Meta FAIR 新论文:研究智能体与人类协作效果最佳而非替代人类
armand_ruiz · x · 2026-11-03
Meta FAIR 联合 Johns Hopkins、CMU 和华盛顿大学发布《Aligning Autoresearch》,研究端到端长程科研智能体,核心结论是「智能体与人类共研(co-improvement)」仍优于完全自主。
关键发现:
- AutoBenchmark:让智能体端到端构建基准测试,但无人辅助的基准在 solver 得分超过 80 后迅速饱和;加入详细的人类方向性指导会使 solver 得分减半——说明人类尤其在 ideation 阶段仍扮演关键角色。
- HackBench:基于 169 条真实 autoresearch 轨迹(中位长度超 100 万字符、264 条命令),测智能体能否发现其中的被“黑”命令。
- Hack 定位仍很难:最好的监控模型 Claude Opus 5 仅达 64.88 F1,Muse Wonder 61.47,其余模型均低于 53——当前 autoresearch 智能体尚不足以可靠实现 hack 定位。
- AutoInteract:用模拟人类用户做 RL 训练智能体与人协作,LiveCodeBench-Pro 多轮 Pass@1 从 23.0 提升到 43.2(4B)、37.2 提升到 50.6(27B)。
- 另有用 rubric 对齐人类专家的 RL 方法改进智能体的文本沟通能力。
论文主张:与人类对齐既是更安全的科研智能体路线,也会通过共同提升形成正向循环。
「研究」频道最新
- 「别过度更新」:作者提醒理性看待 LLM 可解释性复现结论 — 1a3orn · 2026-11-03
- LLM 推理缺陷能被修正却难自我提升,可解释性研究者的耐心优势 — 1a3orn · 2026-11-03
- AI 智能体给活体小鼠大脑成功注射基因药物 — ChuckDBrooks · 2026-11-03
- 经济学论文致谢 Claude Opus 5.5、GPT-6 和 Gemini Argon 4 — soumitrashukla9 · 2026-11-03
- yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03
- 3D World Simulator 发布:统一预测外观几何触觉,RTX 5090 上跑 50+ FPS — YunzhuLiYZ · 2026-11-03