稀疏注意力评测被指注水，实证研究揭真实权衡

高效注意力与 KV 缓存压缩领域被指存在评测“作弊”现象：选择干扰项极少的单跳“大海捞针”任务、使用被模型污染的数据等手段，可让低效方法在论文中表现优异。新论文《The Sparse Frontier》对训练无关的稀疏注意力方法进行了迄今最大规模的实证分析，揭示其中的假象与真实权衡，呼吁更严格的评测规范。

2026-08-17 ~ 2026-08-17 · 3 条相关

• Sparse Attention 论文评测注水指南：避开这些坑 — p_nawrot · 2026-08-17
• 最大规模实证分析：揭示稀疏注意力的真实权衡与假象 — p_nawrot · 2026-08-17
• 研究员揭秘：如何让稀疏注意力评测数据“好看”？ — korec1234 · 2026-08-17