ASI-Bench 研究：仅命名方法导致 Agent 性能暴跌
rohanpaul_ai · x · 2026-08-25
基于 ASI-Bench（涵盖 11 个科学领域的 60 个真实研究项目）的测试表明，告诉 Agent“使用什么方法”效果极差。对比“完整步骤”、“仅方法名”和“无方法”三种指令，仅提供方法名的平均得分从 50.91 降至 29.10，且成本高出 59%。研究结论是：决定性能的是过程步骤而非方法名称，命名方法反而会限制 Agent 且使其需重建实现细节。
所属事件:清华联合多机构发布 ASI-Bench 基准测 AI 科研能力(3 条相关)→
「编程与Agent」频道最新
- 实测称编码 Agent 成功率一半靠运气:各模型随机性达 32%-52% — micahgoldblum · 2026-10-15
- 发推晒 agent 免提示词生成的每日情绪打卡小应用 — alifcoder · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- Hermes Agent 自行为独居爷爷搭建本地家庭安防系统 — NousResearch · 2026-10-15
- Ben Tossell 播客:非技术人如何用 Agent 上线生产代码 — msg · 2026-10-15
- decomp.dev 关停:新一代模型让反编译匹配从数年缩到数天 — banteg · 2026-10-15