Percepta 发布 Spotlight:智能与记忆解耦的新架构
10 月 3 日,Christos Tzamos 团队所属初创公司 Percepta 公布新架构 Spotlight,核心主张是把「智能」与「记忆」解耦:计算模块权重固定不变,知识、技能与工作状态存放在一个可写、可无限增长的独立记忆中,模型无需重训即可增强能力。团队称这是首个访问成本不随记忆增长而上升的设计:每个 token 可读写无界记忆,但生成时只需常数工作量,因此模型无需重启或压缩历史即可持续改进。
已确认
- Spotlight 用可索引记忆取代 attention,官方描述为「将注意力不断增长的记忆与容量,同固定状态循环模型的线性计算成本结合」,宣称兼顾二者长处
- 该设计针对长上下文的核心权衡:标准 Attention 依赖累积 KV cache,成本随上下文二次方增长;线性注意力类模型便宜但上下文容量固定,Spotlight 提出第三条路
- 团队通过把 Python 及其不断增长的生态直接内建进 LLM 进行验证,称该架构足以承载像软件生态这样不断演化的知识体系,长上下文表现超越注意力机制
尚未确认
- teortaxesTex 对其效率提出质疑:虽然渐进复杂度为线性/常数,但常数因子可能相当大,因为一次记忆访问要触及 9 个单元,而每个单元都涉及注意力计算
- 该架构在实际大规模场景下的性能表现尚待独立验证
为什么重要
- 若主张成立,LLM 可在不改动权重、不需重训的前提下持续积累知识与技能,为长期运行的自主智能体提供一条可行路径
- 记忆容量与计算成本的解耦,挑战了当前长上下文依赖昂贵 attention 的主流做法,值得持续关注其后续论文与开源进展
2026-10-03 ~ 2026-10-03 · 7 条相关
一手来源
- Percepta 发布 Spotlight 架构:智能与记忆分离,记忆可无限增长 — Recoil42 ·
- Spotlight 新架构:不改权重也能增长记忆,生成保持常数成本 — teortaxesTex ·
- 【源头】Percepta 发布 Spotlight 架构:智能与记忆分离,记忆可无限增长 — Recoil42 · 2026-10-03
- Spotlight 记忆架构:线性复杂度实现容量增长,长上下文超越注意力 — marcbhargava · 2026-10-03
- 【源头】Spotlight 新架构:不改权重也能增长记忆,生成保持常数成本 — teortaxesTex · 2026-10-03
- Spotlight 架构引热议:注意力记忆能力配线性成本遭质疑 — teortaxesTex · 2026-10-03
- Spotlight 架构瞄准上下文上限:在模型内构建 Python 生态 — burny_tech · 2026-10-03
- Spotlight 提出恒定成本增长记忆,打破注意力与线性注意力的两难 — EugeneVinitsky · 2026-10-03
另有 1 条近重复转述:Recoil42