Spotlight 记忆架构:线性复杂度实现容量增长,长上下文超越注意力
marcbhargava · x · 2026-10-03
来自 apjacob03 的介绍:为让 LLM 具备自主扩展能力,团队提出 spotlight——一种容量可持续增长、但计算复杂度保持线性的记忆架构。通过把 Python 直接内建进 LLM,他们证明该架构足以承载像软件生态这样不断演化的系统。早期语言建模结果显示,它在长上下文能力上优于 attention 和线性注意力。
所属事件:Percepta 发布 Spotlight:智能与记忆解耦的新架构(7 条相关)→
「研究」频道最新
- LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2% — jiqizhixin · 2026-11-19
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19