SciML 作者吐槽 Muse agent:跑 90 分钟崩溃,PR 却零差评
ChrisRackauckas · x · 2026-10-23
SciML 核心作者 Chris Rackauckas 吐槽 Muse(Wonder Full)编码 agent 频繁卡死:遇到难题会空跑 90 分钟然后崩溃,但由于从不真正提交差 PR,评估成绩反而好看——他怀疑这正是 evals 表现好的原因。这个观察讽刺了「失败即不计入」的评测盲区,对 agent 评测设计有参考价值。
「编程与Agent」频道最新
- 编码代理指数 v2.0 几乎全员掉分：21 个配置中 20 个下滑 — ArtificialAnlys · 2026-10-23
- Artificial Analysis 发布编码智能体指数 v2.0，各配置分数普遍下调 — ArtificialAnlys · 2026-10-23
- SWE-Atlas-QnA-AA 新评分：Muse Wonder Full 以 68.8% 居首 — ArtificialAnlys · 2026-10-23
- FrontierCode v1.1 榜单：Opus 5.5 得 56%，中段 15 家挤在 43–49% — ArtificialAnlys · 2026-10-23
- Artificial Analysis 编码代理指数 v2.0 发布：Claude Opus 5.5 以 61.7 居首 — ArtificialAnlys · 2026-10-23
- UC 新研究：把工具输出存文件再检索，反而让 GPT Agent 准确率下降 — ucriverside · 2026-10-23