以检索为中心的深度学习：把权重矩阵换成向量数据库
kaixhin · x · 2026-11-04
Google Research PI 小组的 Johannes von Oswald 在 Sakana AI 的 FIG 研讨会上介绍了新论文《Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks》(arXiv:2610.03858)。核心思路源自 Irie 等人的对偶视角：GD 训练的线性层等价于对训练数据做线性注意力，本文更进一步——训练时不把数据压缩进固定大小的权重矩阵，而是为每个数据点存一对 key-value 表示（即向量数据库），推理时用注意力检索与重组，得到不断生长的非参数网络。论文指出把线性注意力直接换成更强核（RBF、softmax 类）并不能带来有原则的优化，因此提出了基于函数梯度的学习规则，建立了「检索为中心的深度学习」(RCDL) 范式，并在图像分类上展示了有前景的性能与学习效率。演讲还讨论了与 mech interp、优化器设计、数据高效学习的关联。
「研究」频道最新
- 阿姆斯特丹大学 AMLab 招聘多名博士与博士后，研究物理启发的深度学习 — LucaAmb · 2026-11-04
- 新论文：AI 让论文的「隐形合作者」减少 21%，相当于每篇少一位 — soumitrashukla9 · 2026-11-04
- Hugging Face 发布 atif-scan 0.8.16，扫描 agent 轨迹中的 reward hacking — yb2698 · 2026-11-04
- InvisIto 用近红外纱线把机器可读标记隐形织进日常织物 — plopesresearch · 2026-11-04
- 团队制作 3D 解说视频:前沿模型用英语推理逐轮改写 Qwen 权重 — LeviTurk · 2026-11-04
- 研究：WikiVault 用 LLM 重塑韩语维基百科的编写流程 — manoelribeiro · 2026-11-04