Spotlight 架构引热议:注意力记忆能力配线性成本遭质疑
teortaxesTex · x · 2026-10-03
账号 teortaxesTex 引用 Spotlight 架构的设计描述——「将注意力不断增长的记忆与容量,同固定状态循环模型的线性计算成本结合」——并提出质疑:其常数因子可能相当大,因为一次记忆访问要触及 9 个单元,而每个单元是每个注意力头一整个 dk×dv 矩阵。作者认为这种开销可能源于 Continual Learning(CL)式设计,是对该混合注意力/循环记忆架构效率宣称的初步算账。
所属事件:Percepta 发布 Spotlight:智能与记忆解耦的新架构(7 条相关)→
「模型」频道最新
- 隐性模型 Gestalt 登顶设计基准,领先第二名 Claude 214 分 — soleio · 2026-11-19
- mrfakename 发布 GLM-5.3-Flash 与 Qwen3.8-Flash-Next 去审查版 — mrfakename0 · 2026-11-19
- 医生观察:AI 竞争已按周计,GPT-6 两版仅隔 7 天 — ramos_casals · 2026-11-19
- 数据平台 micro1 上线泄漏检测模型,为基准分数保驾护航 — Exp_Mark · 2026-11-19
- 爆料:DeepSeek 本周或发新论文,11 月 11 日有排期 — teortaxesTex · 2026-11-19
- Gemini 4 Neon 开始灰度推送,界面曝光三大模型分层 — testingcatalog · 2026-11-19