斯坦福论文：用测试时回归统一注意力与状态空间模型
burkov · x · 2026-08-21
斯坦福 AI 实验室的新论文提出一个统一框架，把 softmax 注意力、状态空间模型（SSM）等各色序列模型纳入同一理论之下：将「联想回忆（associative recall）」表述为测试时回归（test-time regression）。该框架解释了 query-key 归一化等关键实证设计选择的由来，并能系统性地推导更高阶的注意力机制。
「研究」频道最新
- 研究者探究秩 PPI 检验：LLM 评审指标选择或无统一答案 — IanArawjo · 2026-08-21
- LLMRouter 2.0：统一路由开发与评测基准 — youjiaxuan · 2026-08-21
- EMNLP 2026 录用论文：字节级动态分块解决低资源语言迁移 — nikaletras · 2026-08-21
- 智谱 GLM 新模型评测遭质疑，模型规模并非智能关键 — teortaxesTex · 2026-08-21
- 大规模文本聚类揭示：人类改写内容存在惊人重叠 — RexDouglass · 2026-08-21
- 研究揭示 ASR 模型存在“针对基准优化”问题 — HumeAI · 2026-08-21