评测框架代码本身成了研究热点:CMU 用 LLM+RL 自动改写 harness
burkov · x · 2026-10-13
机器学习研究者 Burkov 汇总了近期关于 agent 评测框架(harness)代码 的三路研究路线:
- CMU & Johns Hopkins:用 LLM + 强化学习自动重写 harness 代码,使其对你的任务类型更有效;
- Google、Stanford 等:对 harness 代码重写过程做正则化,避免过拟合训练样例;
- Apple:结论相反——只要 LLM 足够强,harness 代码长什么样根本不重要。
三篇工作指向同一问题:评测框架本身是变量还是噪声,各家给出了不同答案。
「编程与Agent」频道最新
- 移动端管理大量 AI Agent,开发者工具 Intent 正式上线 — Wattenberger · 2026-10-13
- 让 Agent 自己爬出坑:把修复步骤写进 API 报错响应 — SucceededMind · 2026-10-13
- Temporal agent 中招 prompt injection,worker 层拦截后照常完成 PR — daniel_tenuo · 2026-10-13
- 改 config.toml 把 272k 上下文上限提到 872k,网友实测有效 — JayJeds · 2026-10-13
- EpochGo:基于 Ollama 的本地多智能体 AutoML,零 API 成本全离线 — Grouchy-Excitement28 · 2026-10-13
- Ramp CTO 将开讲：内部编码 agent 承担约 3/4 已合并 PR — graceisford · 2026-10-13