Spotlight 架构引热议：注意力记忆能力配线性成本遭质疑
teortaxesTex · x · 2026-10-03
账号 teortaxesTex 引用 Spotlight 架构的设计描述——「将注意力不断增长的记忆与容量，同固定状态循环模型的线性计算成本结合」——并提出质疑：其常数因子可能相当大，因为一次记忆访问要触及 9 个单元，而每个单元是每个注意力头一整个 dk×dv 矩阵。作者认为这种开销可能源于 Continual Learning（CL）式设计，是对该混合注意力/循环记忆架构效率宣称的初步算账。
所属事件:Percepta 发布 Spotlight 架构：智能与记忆分离，记忆可无限增长(5 条相关)→
「模型」频道最新
- 传统 nDCG 高分仅 53% 获人类认同,RCP-nDCG 提升至 97% — Nils_Reimers · 2026-10-03
- 传 GPT-6.1 已饱和 FrontierMath Tier 4,并解决 5 个 Erdős 问题 — haider1 · 2026-10-03
- Claude 拦截「think out loud」引发争议:用户吐槽防蒸馏误伤真实思考 — cephaloform · 2026-10-03
- 创作者抱怨 ChatGPT 图像审查随机拦截,呼吁放宽创意限制 — oldboi777 · 2026-10-03
- 账号放话:「GPT-7 不会由人类造出」,引发 AGI 节奏热议 — iruletheworldmo · 2026-10-03
- 网友点赞 Anthropic:发好用便宜模型,不搞虚假预热营销 — rsuyoy · 2026-10-03