论文细节:MLP 末端变成无循环结构的「训练版 RNN」
yacinelearning · x · 2026-10-29
Yacine 点评一篇论文最有趣之处：到网络末端，MLP 实际上变成了一个经过训练的 RNN，却没有显式的循环结构。配图（Figure 10）显示在 A5 word problem 的长度泛化测试上，NextLat Latent Dynamics 方法在 12 到 36 序列长度间保持约 1.0 准确率，而 NextLat Transformer 与 GPT（12/36 tokens）在超过训练长度（12）后准确率直接跌至 0，长度泛化能力差距悬殊。
「研究」频道最新
- H-Net 升级版实现 3-5 倍效率提升，Albert Gu 称向「苦涩教训」迈进一步 — niloofar_mire · 2026-10-29
- BlackboxNLP 明日在 EMNLP2026 布达佩斯开幕，首场聚焦 LLM 如何阅读 — gsarti_ · 2026-10-29
- QUAN 论文：四元数卷积实数化，精度更高参数更少 — Bryce Grant · 2026-10-29
- Tim Vieira 详解条件泊松抽样：带交互验证的固定大小子集分布 — xtimv · 2026-10-29
- 训练发现：不同预训练种子构建的奖励模型集成更抗 reward hacking — vxnuaj · 2026-10-29
- Google DeepMind 工程师五项 CUDA 优化，把 3DGS 渲染再提速 10.5 倍 — janusch_patas · 2026-10-29