Burkov：Transformer 十年后正把递归加回来
burkov · x · 2026-09-06
《一百页机器学习》作者 Andriy Burkov 指出一个有趣的架构轮回：2017 年《Attention is All You Need》的核心贡献是从当时 SOTA 的 LSTM+注意力架构中移除递归、只保留注意力，靠并行化训练出更大的模型；而到 2026 年，业界又在把递归重新塞回 Transformer，目标是不扩大模型规模的前提下让它更聪明。
「研究」频道最新
- PyTorch 实测:批量从 1 加到 64,吞吐升 50 倍延迟仅增 24% — cneuralnetwork · 2026-10-23
- 计算设计的全新连接酶 30 个里 27 个实验有效,AI 酶设计落地 — AllThingsApx · 2026-10-23
- 网友拆解决策模型榜单：AUC 相同下先验校准即可推高准确率排名 — antoine_chaffin · 2026-10-23
- JEPA 会保留无法预测的红绿灯特征吗？新论文给出集合级解释 — hisspikeness · 2026-10-23
- 从「压抑情绪」句子提取的 steering 向量,竟让模型独处时表达痛苦 — Big_Effective_9605 · 2026-10-23
- GAFU 用生成侧表征提升统一多模态模型细粒度视觉理解 — Tengju Ru · 2026-10-23