HarnessEval发布：评测从Metric进化为可执行系统
机器之心 · wechat · 2026-08-18
评测范式的系统化升级
MirroS联合清华、北大、伯克利、MIT等机构发布HarnessEval，主张将评测从静态Metric升级为可执行的Agent评测系统（Evaluation Harness）。
核心变化：
- 从规则到工作流：不再是运行预设脚本，而是让评测Agent理解案例，动态规划评测路径，选择并组合技能。
- 四大阶段：
- Plan：理解案例与意图。
- Route：从技能库路由选择适用技能。
- Decompose：将抽象问题拆解为可验证的子问题。
- Verify：审计证据，输出分数。
应用落地：首发于交互式世界模型评测（HarnessEval-W）。针对视频生成中的物理一致性、因果顺序等复杂问题，系统能生成层级化的证据树，定位错误来源而非仅给出标量分数。
意义：支持RSI（递归式自我改进），评测不再是外部尺子，而是系统进化闭环中的关键反馈组件。
所属事件:HarnessEval 开源框架将基准测试升级为智能代理工作流(4 条相关)→
「研究」频道最新
- 五药企联邦训练 OpenFold3：2 万私有结构数据不外泄提分 11 个点 — jiqizhixin · 2026-10-16
- 新水印框架 SWAN 把签名藏进句义，改写也难抹掉 — burkov · 2026-10-16
- 可解释性圈起争执:"神经网络本就干净"结论被指夸大 — aryaman2020 · 2026-10-16
- LayerTrim：免训练剪枝保住推理模型 AIME 能力 — SeoulNatlUniv · 2026-10-16
- Simular 在 BayLearn 展示神经符号化计算机使用 Agent — xwang_lk · 2026-10-16
- Google 量子负责人 Neven 谈芯片测试争议并计划把大脑连上量子计算机 — Chris_Armstrong · 2026-10-16