Sakana AI 推出快速权重乘积键记忆方法
SakanaAILabs · x · 2026-07-04
Sakana AI 的论文《Fast-weight Product Key Memory》(FwPKM)将在 ICML 2026「面向可持续 AI 的持续适应」工作坊做口头报告。该方法把测试时训练(TTT)与乘积键记忆(PKM)结合,形成稀疏快速权重,可在不更新全部权重的情况下于推理时构建大容量记忆:存储量大、访问稀疏、支持测试时写入。在 128K 上下文长度下 5-needle NIAH 准确率约 75%,并在读取目标领域 400 万 token 后快速适应新领域,ΔNLL 最多下降 0.4。
「研究」频道最新
- Meta FAIR 提出 Self-Direction:把 agent 失败变成 LoRA 技能,成功率提 13.8pp — karen_ullrich · 2026-10-27
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27