新论文用欠阻尼二阶动力学解释 Mamba-3 状态旋转的振荡作用
tri_dao · x · 2026-10-13
- arXiv 论文《Understanding Mamba-3 Through Oscillatory Dynamics》提出:将 Mamba-3 在循环状态更新中引入的输入依赖旋转,解释为欠阻尼二阶动力学——衰减因子 ρ 控制阻尼包络,旋转相位 θ 塑造振荡。
- 受控对比实验显示,欠阻尼(振荡)动力学在状态追踪任务上优于非振荡阻尼模式;语言模型预训练也表明其对长上下文预测和长度泛化有益。
- 对预训练模型进行干预证实了模型学到的相位确实重要;状态分析表明旋转调节的是保留信息与新输入更新之间的结合方式。
- 结论:振荡是循环计算的有效机制,通过调控信息累积方式支撑长上下文处理。配图直观对比了 Mamba-2 的一阶衰减(纯指数衰减)与 Mamba-3 的旋转振荡动力学。
「模型」频道最新
- SubQ Snap 发布:384K 上下文决策模型,每百万输入仅 $0.05 — rohanpaul_ai · 2026-10-13
- Google SKU 页惊现 Gemini 4 Argon 定价：$2/$10，发布在即 — gaganghotra_ · 2026-10-13
- 让 Claude 类模型正常说话的文风指南：警惕词语引力阱 — gleech · 2026-10-13
- 用户按规全程付费仍被拒 Pro 200 老用户额度保留，OpenAI 客服拒绝说明理由 — IrrelevantNecessity · 2026-10-13
- autotrust 上架 JEV-35B-NVFP4,基于 Qwen3.5 MoE 的决策分类模型冲上 HF 热榜 — autotrust · 2026-10-13
- Theo 实测三模型修 bug:Opus 直达根因,GPT 写 300 行测试 — shadcn · 2026-10-13