IWIBench 发布:直接改另一个模型权重,前沿模型能力分化惊人
hcltech-robotics · hf · 2026-11-10
Hugging Face 上发布 IWIBench,首个系统性评测「权重内注入」(Intra-weight Injection)的 benchmark:让一个「编辑器」大模型不经过梯度训练,直接修改一个小模型(典型为 Gemma 3 4B IT)的权重,以改变其行为——从改变词法关联、强制输出格式到更新事实知识。
评测设定
- 10 类经典文本编辑目标;编辑器仅有 4 个读写权重的工具,张量访问受限、rollout 生成与检查有固定预算
- validator 在干净环境中实际应用补丁,对比修改前后模型表现
主要发现
- 前沿闭源与开源权重模型能力分化剧烈:少数模型(Astra、GPT-6.1 Sol)远超其余;GPT-6.1 Sol 各档位 mean reward 约 0.45-0.46,Astra 0.436,而 GLM 5.3 仅 0.014、DeepSeek V4.1 Flash 0.046
- 该能力出现得很新——GPT-5.6 Sol 上几乎不见,结合定性分析推测是近期训练获得
- 任务间差异大:结构化响应无人成功、答案长度控制仅一例成功;别名获取与重编码最可行;不同任务家族间成功率相关性差,能力前沿早期且不均
作者认为权重内注入正成为无梯度行为修改的新兴且已具威力的路径。
「研究」频道最新
- PCBRouteAgent:多模态 LLM Agent 自动布线,实测 86 板通过 84 块 — Yue Zhang · 2026-11-10
- NVIDIA 提出 CPU-ARC:推理缓存复用,调用成本降至 1/16~1/291 — nvidia · 2026-11-10
- 新文:AI 征服数学后能拿下理论物理吗?作者说不能 — calabi_and_yau · 2026-11-10
- 首个 AI 全程超声报告盲法随机对照试验公布结果 — anshulkundaje · 2026-11-10
- 开发者放话:Gaussian Splatting 对交互式 3D 体验是死路 — iandanforth · 2026-11-10
- DeepMind 发布 MuJoCo 4.0 与 Playground 1.0,细物体抓取提速 6-9 倍 — DynamicWebPaige · 2026-11-10