研究者质疑用困惑度定安全线:数据配比偏差让跨实验室比较几乎不可能

eliebakouch · x · 2026-11-23

Hugging Face 研究员 Elie Bakouch 回应 OpenAI 的困惑度安全基准提案,认为困惑度高低很大程度是数据配比问题:如果预训练混合中 100% 是代码,模型在代码测试集上的 PPL 自然更低。他建议建立标准化的「预训练索引」(多套高质量文档集)来消除配比偏差,并推测各家头部实验室的数据混合相近,因此数值仍有一定可比性。

在回复中,aidanclark 进一步指出最难的跨实验室等价性问题:提升 PPL 的方法与只提升预训练评测的方法可能本质等价,因此他(与 merettm 不同)对划定绝对 PPL 阈值持强烈怀疑,但认为改进速率可能有意义。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →