RuHarness 让评估 rubric 与 harness 共同进化，held-out 任务领先基线 4.5 分

dair_ai · x · 2026-10-30

dair-ai 介绍了自我改进 harness 方向的新工作 RuHarness。作者指出现有 harness 进化方法的一个关键缺陷：只进化 harness，但指导每次修改的标准(criterion)固定不变，几轮之后就不再匹配 agent 的真实弱点，改进随之停滞。

RuHarness 的做法是把 rubric 和 harness 一起进化：每轮从轨迹中挖掘行为标准、重新打分，把 harness 的修改对准当前最相关的未解决弱点；不再触发的标准进入休眠，弱点复现时再激活。

实验结果：用 Qwen3.5-35B-A3B 在 held-out 任务上比最强 harness-evolution 基线高 4.5 分，GLM-4.7-Flash 高 5.3 分。核心启示：如果你的 harness 进化几轮后不再提升，该更新的是 critic 本身。

原文链接 →

「编程与Agent」频道最新

• Claude API 文档曝光 Agents 等 beta 接口，含托管沙箱会话 — aigclink · 2026-10-30
• 一行代码生成图嵌入：FastRP 默认、GraphSAGE 保属性 — JeremyCMorgan · 2026-10-30
• CodeRabbit CEO:800万美元种子轮已不够造软件,garrytan 反驳看好小团队 — garrytan · 2026-10-30
• GBrain Cloud 上线命令行：一条命令在云端启动 AI 工作区 — garrytan · 2026-10-30
• 为多业务老板设计全家桶 AI 自动化系统:多 bot 协作架构求指点 — Xeriphy · 2026-10-30
• 「物联网的智能体」:一句话定义设备 Agent 的有趣类比 — sull · 2026-10-30

更多「编程与Agent」频道 AI 资讯 →