定点自注意力 FPSA 获 NeurIPS 2026 接收，不改参数迭代精炼上下文
PlisSergey · x · 2026-09-26
研究者 bobthemaster 宣布其 Fixed-Point Self-Attention（FPSA）工作被 NeurIPS 2026 接收。该方法将注意力机制改造成一个层内动力系统，通过迭代精炼上下文直至收敛到不动点（平衡态），且不增加任何参数。作者将此定位为让模型通过“反复思量”（ruminate）来弥补参数规模不足的一条路径。技术博客与代码即将发布；合作者包括 Sergey Plis 和 BAPearlmutter。
「研究」频道最新
- 球面流处理分类数据论文获 NeurIPS 2026 聚焦展示 — LucaAmb · 2026-09-26
- 日本牙齿再生药阻断 USAG-1 蛋白，I 期完成将开展儿童试验 — bumpthebass · 2026-09-26
- 评测集答案总是「中心样例」，真实答案却往往是反常案例 — voooooogel · 2026-09-26
- 针对 Yann 自回归误差论证的隐藏假设,博主引技术讨论 — teortaxesTex · 2026-09-26
- 新论文尝试关联 Orch OR 与微管共振理论 — anirbanbandyo · 2026-09-26
- 开源 4B 决策模型 Mica 玩俄罗斯方块完胜同规格对手 — Top-Evidence174 · 2026-09-26