研究者质疑：90% 层用基础 MLP 仅靠残差混合信息可行吗？
kalomaze · x · 2026-07-30
AI 研究者 kalomaze 提出了一个反直觉的底层架构疑问：业界一直在探索线性注意力或 Mamba 等 RNN 架构，但似乎很少有人测试过一个最基础的基线——如果在 90% 以上的网络层中使用最基础的 ResNet MLP，仅依靠残差流（residual stream）来混合信息，效果究竟如何？
所属事件:研究员提议用极简MLP替代多数注意力层作基线(5 条相关)→
「研究」频道最新
- 合成数据何时有效？研究揭示其最佳配比与“Zeta定律” — PTenigma · 2026-07-30
- 将Jacobian方法用于大模型对比转向，效果优于传统控制 — voooooogel · 2026-07-30
- ICML论文:二次模型竟能精准描述LLM预训练 — jasondeanlee · 2026-07-30
- Lean是《数学原理》的终极回响？论形式化验证的哲学分野 — doodlestein · 2026-07-30
- Meta 与 CMU 论文：将上下文压缩变为智能体动作，长程任务表现提升 27% — rohanpaul_ai · 2026-07-30
- 半导体量子计算潜力探讨：比特数需比肩经典晶体管 — whurley · 2026-07-30