消融实验显示领域区分设计可贡献最多 3.7 分 agent 性能
morgymcg · x · 2026-10-20
作者转发 HARNESS² 论文的消融实验截图并评论「domain 不可知与领域区分的划分可能相当重要」。
实验在 WorkBuddy-Bench 与 JobBench 上以 Gemini 3.5 Flash 为执行器逐一拆解三个组件的贡献：
- 移除改进库（library）：分别降 3.1 与 1.8 分
- 移除范围限定（scoping，用通用编辑器替代领域/不变量编辑器）：分别降 2.9 与 3.7 分，是损失最大的组件
- 移除组合（composition）：分别降 1.6 与 1.9 分
结论是三个组件都有效，其中按领域区分候选方案的 scoping 设计尤其关键。
「编程与Agent」频道最新
- Rust 重写版 TypeScript 编译器 tsrs 发布,类型检查 80 秒缩至 7 秒 — cnakazawa · 2026-10-20
- 634 件 MIT 开源 ASCII 动画库上线,一条命令接入编码 Agent — sull · 2026-10-20
- 开发者详述 MCP 文件删除安全设计：HMAC 令牌+代码级拒绝清单 — qupit · 2026-10-20
- Cloudflare 收编 tsrs：Rust 版 TypeScript 快 8 倍、省 70% 内存 — cnakazawa · 2026-10-20
- px0 升级为一站式工作台:AI 解决 rebase 冲突、改写 commit — arpit_bhayani · 2026-10-20
- Cloudflare 携手 VoidZero 开发 tsrs：Rust 版 TypeScript 快 8 倍省 70% 内存 — Ben's Bites · 2026-10-20