开源 Hyper-Connection Factory:一个底座统一实测 11 种残差连接变体
ChengleiSi · x · 2026-10-04
开源项目 hyper-connection-factory 在同一个 transformer 底座上统一实现了 HC、mHC、Frac、DenseFormer、MUDDFormer、LAuReL、AttnRes、MHAR、DAR 等 11 种超连接/残差连接变体,并给出受控对比。
- 所有变体共享完全相同的 attention/MLP 子层、初始化、数据、优化器与训练计划,唯一变化的是 Connection 模块(每个子层读取什么、输出如何写回),因此结果差异可完全归因于连接方式本身。
- 统一配方从 38M 到 1.2B 参数、约 20 tokens/param 训练,仓库含 configs、scripts、results 与测试,并附各方法的论文出处与参数开销表(如 postnorm 增加 2L·d 参数,HC 为并行残差流等)。
「研究」频道最新
- 斯坦福团队 ENCODE GRAMMAR 预印公开,靠社区评审发现指标误导问题 — anshulkundaje · 2026-10-04
- JevBench 引发热议，Jevons 原梗作者亲自下场回应 — airesearch12 · 2026-10-04
- Broad 联合波士顿儿童医院等成立治疗遗传学中心，主攻罕见病基因药物 — anshulkundaje · 2026-10-04
- 购物篮分析只能告诉你什么好卖,答不了谁在流失 — dima806_dima · 2026-10-04
- 研究发现重度 AI 用户批判性思维更差,「认知让渡」概念引关注 — DrKavner · 2026-10-04
- NBER 论文:深度学习本质是投影法,融合两者可解得更好 — SchoeneggerPhil · 2026-10-04