Spotlight 新架构:不改权重也能增长记忆,生成保持常数成本
teortaxesTex · x · 2026-10-03
Christos Tzamos 团队发布新架构 Spotlight,宣称 LLM 无需重训即可增强能力:给模型「可增长的记忆」,token 生成无论存储多少信息都只需常数工作量,兼顾 attention 的记忆容量与固定状态循环模型的线性计算成本。
评论者 teortaxesTex 指出常数因子可能偏大:一次访问要触碰 9 个单元,且每单元是每头一个完整的 dk×dv 矩阵,但认为这是 Continual Learning 设计的常见代价。
所属事件:Percepta 发布 Spotlight 架构:智能与记忆分离(6 条相关)→
「模型」频道最新
- ExploitBench 成绩高度依赖 harness：GLM 5.3 Flash 表现远超 4.1 — teortaxesTex · 2026-10-03
- Meta Muse 质量下滑：推理过载致任务频繁掉落且不通知 — brandon_galang · 2026-10-03
- vLLM 开源 Decision 2.0 决策模型：单次前向答 64 问，最快 63ms — vllm_project · 2026-10-03
- 为何没人用顶级推文训练一个学会「高人思维」的模型？ — Gauri_the_great · 2026-10-03
- Cloudflare 决策模型 Clef 上架 Ollama,可分类图片与工单路由 — ollama · 2026-10-03
- 「随机统计预测」是误解：模型内部存在被学到的算法结构 — burny_tech · 2026-10-03