揭示评测数据污染假象：提出SA-PPG指标与RailCap缓解策略

zju · hf · 2026-08-10

浙江大学（ZJU）的论文指出，由于公开评测集不可避免地泄露进预训练语料，现有的污染缓解评估指标（G-AP）存在严重缺陷，如过度抑制与抑制不足相互抵消。

为此，作者提出了 SA-PPG（分层逐题概率差距）：通过采样估计每道题的求解概率，并与干净模型进行逐题对比后分组聚合。

此外，论文还提出了全新的缓解策略 RailCap：在生成过程中动态判断污染，当样本落回贪婪轨迹时，对下一个 token 进行封顶限制，直到响应分布足够分散。实验表明，此前的缓解策略效果被严重高估，而 RailCap 取得了最低的 SA-PPG 污染度。

原文链接 →

「研究」频道最新

• 研究称 LLM 写 JS 比 TS 错误率更低，静态类型未必是代码护栏 — hichaelmart · 2026-08-10
• 269小时脑电数据训练，非侵入式语音解码准确率达61.3% — kaixhin · 2026-08-10
• 推测解码技术为何爆发？Tri Dao 等论文推动推理革命 — Ok-River5924 · 2026-08-10
• 3D 扫描实景训练人形机器人：零真实微调直接上岗 — lukas_m_ziegler · 2026-08-10
• 单模型搞定转写与分离：MOSS-Transcribe-Diarize — vanstriendaniel · 2026-08-10
• 哈佛与MIT开源MatrAIx：模拟全球83亿人行为 — SRSchmidgall · 2026-08-10

更多「研究」频道 AI 资讯 →