DeepSeek-V4 疑似采用 4 残差流加 Sinkhorn 迭代的新型连接架构
RobertTLange · x · 2026-11-09
Robert Lange 发文称 DeepSeek-V4 模型与百度 ERNIE 5.5 Flash 都采用 4 条残差流、经 20 次 Sinkhorn 迭代混合的架构，并梳理了这一架构演进脉络（前述信息属其表述）。
- 残差连接：x + F(x)，让梯度能穿过深层，但容量受限于层宽
- Hyper-Connections（HC）：将输入 x 复制为 4 条流，学习 3 个小映射——Hpre 读入层、Hpost 写回输出、Hres（4×4）混合各流；F 及其 FLOPs 不变
- 流形约束 HC（mHC）：用 Sinkhorn-Knopp 迭代把 Hres 投影到双随机矩阵上，每条流成为各流的凸组合
「模型」频道最新
- 爆料称 Opus 5.5 仅 10B 激活参数，用户已用 handover.md 迁移到 Qwen-4-Flash — teortaxesTex · 2026-11-09
- 「基准像香水：能闻不能喝」——公开榜单该信多少？ — intellectronica · 2026-11-09
- 并发跑满 20 条线程仅用 17% 额度:$200 Claude 订阅性价比惊人 — cyrus_zei · 2026-11-09
- Grok Bot 用量遭质疑暗改规则，xAI 扛不住舆情宣布重置 — xiaohu · 2026-11-09
- 加两 token 注释让 Host B 成功率翻倍：同权重不同托管差异悬案 — No_Pea_6625 · 2026-11-09
- HN 热议：Claude Opus 5.5 疑被削弱，11 月 3 日起思维模式生变 — rzk · 2026-11-09