Spotlight 新架构:不改权重也能增长记忆,生成保持常数成本
teortaxesTex · x · 2026-10-03
Christos Tzamos 团队发布新架构 Spotlight,宣称 LLM 无需重训即可增强能力:给模型「可增长的记忆」,token 生成无论存储多少信息都只需常数工作量,兼顾 attention 的记忆容量与固定状态循环模型的线性计算成本。
评论者 teortaxesTex 指出常数因子可能偏大:一次访问要触碰 9 个单元,且每单元是每头一个完整的 dk×dv 矩阵,但认为这是 Continual Learning 设计的常见代价。
所属事件:Percepta 发布 Spotlight:智能与记忆解耦的新架构(7 条相关)→
「模型」频道最新
- 隐性模型 Gestalt 登顶设计基准,领先第二名 Claude 214 分 — soleio · 2026-11-19
- mrfakename 发布 GLM-5.3-Flash 与 Qwen3.8-Flash-Next 去审查版 — mrfakename0 · 2026-11-19
- 医生观察:AI 竞争已按周计,GPT-6 两版仅隔 7 天 — ramos_casals · 2026-11-19
- 数据平台 micro1 上线泄漏检测模型,为基准分数保驾护航 — Exp_Mark · 2026-11-19
- 爆料:DeepSeek 本周或发新论文,11 月 11 日有排期 — teortaxesTex · 2026-11-19
- Gemini 4 Neon 开始灰度推送,界面曝光三大模型分层 — testingcatalog · 2026-11-19