斯坦福论文：用测试时回归统一注意力与状态空间模型
burkov · x · 2026-08-21
斯坦福 AI 实验室的新论文提出一个统一框架，把 softmax 注意力、状态空间模型（SSM）等各色序列模型纳入同一理论之下：将「联想回忆（associative recall）」表述为测试时回归（test-time regression）。该框架解释了 query-key 归一化等关键实证设计选择的由来，并能系统性地推导更高阶的注意力机制。
「研究」频道最新
- WEDGE 论文：把导航失败经历变成可学习的训练环境 — _akhaliq · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- 清华团队证明:普通 Flow Matching 采样无法突破固定深度模型表达力上限 — SQZ · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16