神经科学家实测三个顶级模型协作写 REML:错误代码仍需专家把关
pshrink · x · 2026-11-16
神经科学家 Russ Poldrack 用 Fable 5.2、Astra 和 Hydrogen 三个前沿模型在复杂科学问题上「对打」——在 boldtailor 包中实现 REML(约束最大似然)算法,并让 Astra 生成开发过程复盘文档(已发布在 GitHub)。
- 即便使用测试驱动开发流程,当今最强模型仍会把错误代码当作完成品交付
- 跨模型对抗性测试有助于发现错误,但往往需要多轮才能收敛
- 科学家/专家在环的判断仍不可替代:由科学家主导方向、索要证据、并把发现跨模型传递(甚至让一个模型质疑另一个模型的输出)
- 该复盘由 GPT-6 Astra 基于 coding harness 转录稿起草,Poldrack 少量编辑
对科研场景下 AI 编码 agent 的真实能力边界是很有价值的一手记录:代码看起来模块化、测试齐全、评估自信,但多轮审查仍不断发现可能改变科学结论的错误。
「编程与Agent」频道最新
- 接通 GSC+GA 后让 SEO Agent 自动做搜索数据排查 — yangyi · 2026-11-16
- 用 utm_campaign=C++ 测 AI 写的解析器,等它把 C++ 重构成 C — HaktanSuren · 2026-11-16
- Profound CTO 访谈:从两周到两小时,AI 创业公司的速度与质量观 — soleio · 2026-11-16
- Fable 5.2 被称当今最强也最贵,作者出省钱编排法:带 Opus 子代理集群 — daniel_mac8 · 2026-11-16
- 研究者自建持久身份 Agent 平台:长期记忆、多厂商接入与沉浸式环境 — nptacek · 2026-11-16
- Antigravity 实用技巧:/btw 一句话戳一戳你的子代理 — alexanderchen · 2026-11-16