字节 Seed 提出 Hierarchical Residuals：解耦残差宽度与计算宽度提升训练效率
ByteDance-Seed · hf · 2026-11-09
字节跳动 Seed 团队（与清华大学合作，作者含 Jianfei Chen 等）在 Hugging Face 发布论文《Hierarchical Residuals: A Minimalist Decoupling of Residual Width from Compute Width》。
- 核心观察：Transformer 的残差连接隐式地将贯穿深度的残差宽度与每层内部计算宽度绑定在一起。
- 方法：HiRes 是一种极简架构改动，把层分组为块（block）；块内保持标准 d 维 PreNorm 层不变，块间用更宽的 D 维 PostNorm 外层残差连接，通过学习到的读/写投影在块边界桥接两个空间。
- 结果：跨不同模型规模和深度，HiRes 一致优于原始残差相加，改进训练效率和下游精度，拟合的 scaling law 显示其优势随规模扩大（截图信息）。
「研究」频道最新
- 布朗大学 SwarmEvolve：450 个 Agent 潜空间通信，程序搜索快 5-13 倍 — aigclink · 2026-11-09
- 论文：与 AI 智能体的互动是双向的，会深刻重塑人类自身 — AnnaCiaunica · 2026-11-09
- 最强 3D 生成模型仍反复犯三类低级错误：Z-fighting、单面几何、坐标系错位 — teortaxesTex · 2026-11-09
- EPFL 研究者将在线讲解掩码扩散语言模型的轨迹感知训练 — AnnaCiaunica · 2026-11-09
- UC伯克利等新论文：Agent 自我进化提分 5.2 却丢掉 10 个原本会做的任务 — rohanpaul_ai · 2026-11-09
- MoE训练终极手册已有中文版：3万字50+交互图表全覆盖 — Nouamanetazi · 2026-11-09