Spotlight 提出恒定成本增长记忆,打破注意力与线性注意力的两难
EugeneVinitsky · x · 2026-10-03
作者团队在推文线程中介绍其新论文 Spotlight,针对长上下文记忆的核心权衡提出第三条路:
- 标准 Attention 通过累积 KV cache 来增长记忆,但整体成本随上下文呈二次方增长;
- 线性注意力类模型虽然便宜,却把上下文压缩进一个有损的固定大小状态里;
- Spotlight 提出一种"可增长记忆"机制,实现每 token 恒定的计算/存储成本,同时不把记忆锁死在固定容量中。
这是对长上下文架构成本问题的直接回应,思路介于两者的取舍之间。
所属事件:Percepta 发布 Spotlight:智能与记忆解耦的新架构(7 条相关)→
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19