TPHC:张量并行分组更新突破 Hyper-Connections 流数上限
Xinying Hu · hf · 2026-11-18
上海科技大学与美团发布 TPHC,改进 Transformer 的 Hyper-Connections(HC)残差流机制。
- 问题:mHC(已被 DeepSeek-V4 系列采用)在流数超过 4 后收益有限,因为每个子层只向所有流写入单一输出,限制了各流的独立更新。
- 做法:将张量并行(TP)分片与 HC 残差流结合,路由更新使各流获得更独立的更新。
- 效果:以适度的训练开销改善语言模型 loss 与零样本推理能力。
「研究」频道最新
- TCS 学界发布声明:招聘重质量轻数量,抵制 AI 论文军备竞赛 — fortnow · 2026-11-18
- 论文提出语言创造性的社会文化视角:从社区实践看创意生成 — abenitezburraco · 2026-11-18
- 无需训练或梯度:27B 模型可自行改写权重提升 unseen 任务 — udmrzn · 2026-11-18
- 开源 EDA 工具十年逆袭:从「不可能」到设计出蓝牙信标芯片 — IgorCarron · 2026-11-18
- AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具 — Shuhan Li · 2026-11-18
- Orabona 撰文驳 AdaGrad 预条件化解释:全矩阵界限常不如标量学习率 — bremen79 · 2026-11-18