模型融合增益或源于「伪装的投票」：权重平均反而失效
teortaxesTex · x · 2026-11-01
teortaxesTex 引用 @onloglogn 的观点并补充：大量噪声副本模型本身可能并不比基座模型强，增益的魔法来自它们之间的「投票」机制——这也能解释为什么对副本做权重平均（averaging weights）会损失大部分收益。这一讨论为模型融合（model merging）现象提供了一种机制性解释：融合收益更类似集成投票而非单个模型质量提升。
「研究」频道最新
- 学界争论机制可解释性方向：是重大错失还是被误读的努力 — juliusadml · 2026-11-01
- e-Otter++ 系统自动生成 fail-to-pass 复现测试,破解 bug 验证难题 — burkov · 2026-11-01
- 研究：自改进智能体会偏离原对齐目标，团队发布 SEABench 基准 — nandofioretto · 2026-11-01
- 新研究：训练后权重为何呈现 α≈2 幂律尾，或可指导优化器设计 — burny_tech · 2026-11-01
- 真有人发了核物理论文，标题就叫《核能海狸》 — jwt0625 · 2026-11-01
- Epoch 员工坐飞机被认出：你们就是做「AI 任务时长曲线」的那家 — Miles_Brundage · 2026-11-01