MBZUAI 论文 EvoHeir:自进化模型环路有害更新占比降 68–83%
MBZUAI · hf · 2026-10-19
MBZUAI 团队论文《Selection Is Not Learning》指出自进化语言模型环路(R-Zero、Agent0、Skill Self-Play 等)存在 selection-to-update gap:任务看似可学不代表会产生有用更新,而这些环路把所有更新照单全收。
论文提出两个方案:
- HeirCommit:冻结更新后的模型,用全新评估题决定继承新模型还是保留当前模型;
- EvoHeir:把参数继承与经验继承分离,用当前与归档经验修复失败、保住成功,再在最终确认前完成修复。
分析框架把选择引发的乐观偏差拆解为选择误差、吸收误差与确认误差。实验显示 HeirCommit 在相同接受率下将有害更新占比相对随机继承降低 68–83%,EvoHeir 在四个基座模型上取得最佳数学与通用推理平均成绩。
「研究」频道最新
- 免训练权重编辑降低有害指令服从率:诚实率 31%→88%,仅改 0.8% 权重 — AI-Interpretability-illinois · 2026-10-19
- 新基准揭示多模态检索普遍存在属性-对象绑定失败 — Netanel Y. Tamir · 2026-10-19
- DAGFormer:用拓扑预测器全局规划 Transformer 跨层连接,降低困惑度 — AI-Interpretability-illinois · 2026-10-19
- Looped Models 设计指南:三明治架构提升推理,优势可迁移到 MoE — IFM · 2026-10-19
- Dream2Discern:自造困难样本预测多智能体系统运行时失败 — RutgersU · 2026-10-19
- 复旦等发布 BridgeWAM:桥接查询解耦视频与动作专家,推理提速 2.47 倍 — Fudan-University · 2026-10-19