百度 oHC 用四元数做正交残差连接,3.9B 模型 BPB 降 6.2σ
teortaxesTex · x · 2026-10-28
teortaxesTex 点评百度论文《Orthogonal Hyper-Connections on SO(4) via Quaternions》(oHC):理论上它优于现有多种残差流方案——相比 iHC 保留了跨流通信,相比 mHC 避免了流同质化,且更简单更快。
论文关键数据(3.9B 模型、73B tokens 训练):
- oHC 将 16 个 benchmark 的平均 BPB 相对单流残差基线降低约 3.9%,达 6.2σ 显著性,超过 mHC(1.8σ)和 iHC(3.1σ);
- 构建成本上,四元数对是最便宜的正交构造,比被替代的 Sinkhorn–Knopp 迭代便宜 20.6 倍,即便用 Triton 手写内核融合后仍便宜 2.7 倍;
- 但实证也揭示局限:正交约束只是把流同质化推迟了约 3 层等效深度,而非阻止——流纯粹通过共享更新收敛。
作者由此提出更根本的疑问:在真正大规模、深层的网络里,这些 mixer 设计到底还重不重要。
「研究」频道最新
- DiscoTrace 论文获 EMNLP 2026 最佳论文:对比人类与 LLM 的答题策略 — rachelrudinger · 2026-10-29
- 一张红心图片就能让模型 100% 写递归代码，DeepMind 论文揭示隐式视觉引导 — dair_ai · 2026-10-29
- 新基准 CMASS 登场：5.5 亿文档语料上考验智能体搜索 — lintool · 2026-10-29
- 把蛋白质写成字母序列：Profluent 用语言模型设计基因编辑器 — nathanbenaich · 2026-10-29
- AAAI rebuttal 季到了，研究员公开自己的答辩模板 — StephenLCasper · 2026-10-29
- 学者提出「Neurovium」：神经、计算与认知的统一学科 — neurovium · 2026-10-28