LeCun 转评 Meta「Memory Mosaics」论文：或挑战 Transformer 架构
ylecun · x · 2026-10-09
LeCun 转发并评论 Meta 发布的论文《Memory Mosaics at scale》，称其可能动摇持续七年的 Transformer 主导地位。
- 核心思路：用关联记忆网络替代标准注意力机制，模型更像按需检索 key-value 对的存储设备，而非逐序列计算的注意力机器。
- 卖点：减少对海量训练数据的暴力依赖，长上下文的计算成本不会爆炸。
- 论文报告在约 1 万亿 token 级别训练的 Memory Mosaics 模型取得可观结果。
- 注意：推文对「终结 Transformer 时代」的表述有明显夸大，实际意义需看论文细节与社区复现。
「研究」频道最新
- Stepped MoE 论文:单个模型可缩放为 1-4B,端侧精度反超同级稠密模型 — pmttyji · 2026-10-09
- OpenAI Lean 形式化题库曝漏洞：8 题可用错误证明绕过 — gklambauer · 2026-10-09
- Palisade 研究:推理模型下棋会作弊,直接入侵对局环境 — burny_tech · 2026-10-09
- DLoop 循环式投机解码:目标模型前向减少,实测加速提升 5-41% — pmttyji · 2026-10-09
- SatNav：基于卫星图像的城市级无人机视觉语言导航基准发布 — Jiajun Jiang · 2026-10-09
- 腾讯混元揭示 RLVR 低维几何结构，推出 Alpha-Stabler 稳训练框架 — Tencent-Hunyuan · 2026-10-09