2016年D-NTM论文的NOP记忆单元与今日attention sink如出一辙
caglarml · x · 2026-10-22
作者 Çağlar Gülçehre 指出，attention sink 机制其实是「老酒新装」：他与人（含 Bengio、Kyunghyun Cho）在 2016 年的 D-NTM 论文（arXiv:1607.00036）中就引入了 NOP 记忆单元，让控制器在无需读写时可以「注意空白」，用于吸收注意力概率质量，与如今 Transformer 的 attention sink 目的和功能基本一致。
「研究」频道最新
- 新预印本追问：当文化规范与个人偏好冲突，LLM 听谁的？ — radamihalcea · 2026-10-22
- NV-Segment-CT一次点击分割84个CT结构，单GPU仅10秒 — MaziyarPanahi · 2026-10-22
- OSVerify 审 11 篇 OpenAI 数学预印本,揪出 18 处问题 — james_y_zou · 2026-10-22
- EMNLP 2026 产业轨道公布:Bansal 谈智能体,Rieser 谈宪法对齐 — verena_rieser · 2026-10-22
- 顶会审稿人自省:「安全」的蟑螂论文最容易被接收 — plopesresearch · 2026-10-22
- 超参调优本身就是机器学习问题：从网格搜索到贝叶斯优化 — bravo_abad · 2026-10-22