研究者质疑困惑度评测：代码模型该看 pass@k 而非 PPL
eliebakouch · x · 2026-10-24
Hugging Face 研究员 eliebakouch 认为，仅用代码训练的模型困惑度低于更大的通用模型并不意外，单纯比 perplexity 意义有限；更有价值的是看各类编程基准上的 pass@k 表现，即在真实代码任务上的多次尝试通过率。
「研究」频道最新
- 1979 论文断言形式验证难成气候，2026 预言它将像 fuzzing 一样普及 — danbri · 2026-10-24
- NVIDIA 携手华盛顿大学发布 RFD4-Proteina,蛋白质设计再进一步 — AllThingsApx · 2026-10-24
- T²Quant：按任务与去噪步动态分配精度，量化扩散语言模型 — Ofek Avivi · 2026-10-24
- AWS 与伯克利让 Agent 用 Lean 证明代码优化等价，平均提速 1.85 倍 — xiuyu_l · 2026-10-24
- 谷歌 Discover 上线 SDF 系统,排名前就过滤过时文章,陈旧内容降 54.9% — gaganghotra_ · 2026-10-24
- Google 官宣 Gemini 4 Argon 助力核聚变、酶工程与罕见病三大突破 — Eric520CC · 2026-10-24