DAMI 论文:双轴记忆初始化提升门控线性注意力的长上下文检索
SpeedAI-Lab · hf · 2026-11-03
SpeedAI-Lab 与北航团队发布论文 DAMI(Dual-Axis Memory Initialization),针对门控线性循环模型的长上下文检索问题。
- 问题:线性注意力随序列长度线性扩展,但有限状态记忆限制长上下文检索;记忆保持依赖状态衰减,而衰减由门控参数(Alog、dtbias)与输入激活共同决定。
- 方法:在训练前联合配置 decay 与 sensitivity 两轴参数,改进门控线性注意力模型的记忆初始化。
- 验证:在受控 Gated Delta-Net(GDN)实验中,对比了记忆时间尺度与输入敏感度的不同初始化策略(近/中/远证据检索)。
「研究」频道最新
- 用麦克风音频反查飞机位置:各地需连续录音最长超一天才可行 — AndrewM_Webb · 2026-11-03
- AI 重塑肺癌研究：从科学发现到个性化诊疗 — MihaelaVDS · 2026-11-03
- 解读「人格神经元」:多数只是概念神经元,被问身份才假装成人格 — burny_tech · 2026-11-03
- 简化 prompt 让 GPT-5.4 从 93.5% 跌到 40.9%,基线更省 31 倍成本 — dl_weekly · 2026-11-03
- Qwen 在 Astra 上的提升并非权重内省，而是智能体工程循环 — petrusenko_max · 2026-11-03
- Nature:果蝇连接体仿真找到控制行走的三神经元节律电路 — patrickmineault · 2026-11-03