研究员揭秘：如何让稀疏注意力评测数据“好看”？

korec1234 · reddit · 2026-08-17

一位专注于高效注意力和 KV 缓存压缩的研究员发文，揭露学术圈如何通过“技巧”让稀疏注意力和压缩方法在论文中表现优异。主要手段包括：选择干扰项极少的“大海捞针”任务、使用被模型污染的旧数据集、不隔离变量（给自己的方法调参和优化实现代码但保留旧基线）、使用汇总指标掩盖特定任务上的性能下降，以及选择模型分数已饱和的任务进行评测。作者自嘲也曾犯过类似错误，呼吁社区关注。