EMNLP 论文:Transformer 与 Mamba 全局表征迥异,局部结构却相似
royschwartzNLP · x · 2026-10-25
- 一项将在 #EMNLP2026 上展示的研究比较了 Transformer 与 Mamba(状态空间模型)的表征几何。
- 结论:两类架构虽然在机制上根本不同,但在全局表征空间上差异明显,而在局部(邻近词邻域)却呈现出相似的结构——配图以「首都」词簇为例,展示两者局部邻域布局高度一致。
- 作者提出的核心问题是:架构不同是否意味着模型「理解」世界的方式不同?答案是全球层面不同、局部层面相似。
「研究」频道最新
- 训练投毒事件受害者发声,字节研究员称 VAR 式路线是 bitter lesson — zibuyu9 · 2026-10-25
- JevBench v1.7 引入 10 秒规则:超时即判错,模拟真实产品决策 — airesearch12 · 2026-10-25
- 开源虚拟人体模型：700 肌肉执行器、206 关节、90 身体节段 — mtizard · 2026-10-25
- EMNLP 论文：用户信任模型结论而非推理，自信语气掩盖错误 — MaartenSap · 2026-10-25
- Prime Intellect 合并 IcePop 分数中心化与截断采样回放支持 — samsja19 · 2026-10-25
- EMBER 提出 token embedding 层概念擦除法，防 LLM 知识再学习 — megamor2 · 2026-10-25