线性注意力在百万级 DNA 序列中召回率极低
No-Coffee-8227 · reddit · 2026-08-16
用户在研究 DNA 序列建模（长度可达 100 万 tokens）时发现，线性注意力虽然节省算力，但在长程召回上表现极差，在 Needle in a Haystack 测试中准确率仅 25%（随机水平）。即便是 HyenaDNA 等现有方案也面临类似问题。在 16K 短上下文中表现尚可（50-60%），但随上下文增长性能急剧下降。作者询问是否存在不依赖昂贵 Softmax 或外部内存的架构解决方案。
所属事件:线性注意力在百万级 DNA 序列召回率低(2 条相关)→
「研究」频道最新
- 自建「主观判断」基准：18 个模型一致性测试，GLM-5.3 登顶 — arkuto · 2026-10-16
- UCSD团队提出数据集水印法，仅凭API输出即可检测训练数据盗用 — yuxiangw_cs · 2026-10-16
- EmbodiedEvo 让 Agent 传承经验：登顶 RoboDojo 榜单 — Aiden_Tech_Ai · 2026-10-16
- 审稿人吐槽 CHI 论文 Discussion 普遍不引用文献 — IanArawjo · 2026-10-16
- 研究者驳「理解神经元即理解网络」：误差会复合放大 — StephenLCasper · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16