线性注意力在 DNA 序列建模中的召回难题
No-Coffee-8227 · reddit · 2026-08-16
- 问题背景：在使用线性注意力处理长度达 100 万 token 的 DNA 序列时，遇到了严重的长程召回问题，在 Needle in a Haystack 测试中准确率仅约 25%（接近随机猜测）。
- 现象对比：尝试了 HyenaDNA 等现有方法，表现同样不佳；但在较短的 16K 上下文中，小模型的召回率可达 50-60%。这表明问题与上下文长度密切相关。
- 现有方案局限：大多数改进方案依赖外部记忆、滑动窗口机制或混合架构，作者希望寻找无需昂贵 Softmax 注意力或大型外部记忆的解决方案。
- 核心疑问：这是线性注意力压缩状态表示的根本局限，还是存在能够保持可靠检索的架构方法？
所属事件:线性注意力在百万级 DNA 序列召回率低(2 条相关)→
「研究」频道最新
- 12章7500行逐行注释教程，从零手写现代 GPT — tom_doerr · 2026-10-16
- 约翰·纳什 1998 年「层级内省逻辑」手稿再引 AI 圈热议 — fkasummer · 2026-10-16
- OpenAI 前可解释性负责人：绝大多数神经元已可读，可解释性是最重要科学问题 — CatAstro_Piyush · 2026-10-16
- AI 安全研究者自嘲：技术安全话题几乎都能在几十年前统计学里找到影子 — _onionesque · 2026-10-16
- JevAgentHarness 论文：4B 小模型替 LLM 做 Agent 决策，更省更准 — youjiaxuan · 2026-10-16
- Google 团队用序列拍卖构建去中心化 LLM 多智能体工作流 — _onionesque · 2026-10-16