Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理
teortaxesTex · x · 2026-11-12
Zeyuan Allen-Zhu 发布《Physics of Language Models》Part 4.1，提出 Canon layers——对邻近 token 表征做加权和的轻量组件，可无缝嵌入 Transformer、线性注意力、状态空间模型等任意序列架构。
- 论文用可控合成预训练任务（1.3B 参数、100B tokens）隔离评测核心能力，给出 12 项关键结论：Canon 层可将推理深度提升约 2 倍，增强推理广度与知识操作能力
- 能让弱架构（NoPE）追平 RoPE，让线性注意力对标 Mamba2/GDN 等 SOTA 线性模型
- 实现上仅是 kernel size 4 的一维因果卷积加残差连接（基于 causal-conv1d），参数增量极小；配图显示甚至固定随机权重的简单版本已能显著提升性能，类似 ResNet 残差促进梯度流动
- Songlin Yang 引用表示其观察到的 SConv 约 19% 计算效率收益与该论文结论一致；讨论认为 Marin 等模型大量注入 SConv 层正是为了促进相邻 token 的横向信息流
「模型」频道最新
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 陶哲轩坦承：看 ChatGPT 雅可比猜想对答也曾被信息量淹没 — ChrisGPotts · 2026-11-12
- 网友辟谣:「Anthropic Opus 5.5 训练成本超 100 亿美元」系假消息 — ns123abc · 2026-11-12
- Domingos 贴图否定指数增长：前沿模型能力每年仅线性涨 16.5 分 — pmddomingos · 2026-11-12
- Hark 推出 Pro⁴ 高阶套餐,用量达 Pro² 的 10 倍 — adcock_brett · 2026-11-12
- Inkling 2 Small 预训练仅 1/6 时长却表现强劲，引发业内猜想 — georgejrjrjr · 2026-11-12