模型离线分数变差反是好事？Qwant 实测揭示 eval 过拟合信号
antoine_chaffin · x · 2026-10-29
- @rdeveaud(Qwant):离线指标下降但搜索整体质量感知上升的排名模型训练经历,反复出现——这通常正是模型在「过拟合评测集」的好信号,负向 eval 结果未必代表模型变差。
- @antoinechaffin:他对决策模型做选项长度去偏后,Habermas Machine 分数从 60 掉到 45,甚至低于「选最长」的启发式(50%,随机约为 24%)。但他认为这是在防止模型对选项长度崩溃,并非把模型变差——即使热门榜单分数因此下降也不在乎。
两条经验共同指向: popular benchmark 分数与真实质量可能背离,负向结果需要结合上下文解读。
「研究」频道最新
- 闭源权重才能藏住隐藏人格？AI 圈激辩模型不可解释性论证 — aiamblichus · 2026-10-29
- Noah Smith:AI 正把科学拖出「低垂果实摘尽」的停滞,黄金时代将至 — QuintinPope5 · 2026-10-29
- 把训练各阶段拆成任务向量相加，竟然还都符合预期 — voooooogel · 2026-10-29
- Cohere Labs 开放科学社区下周三场线上分享:自修复训练、Agent Harness、VLM 安全 — Cohere_Labs · 2026-10-29
- DeepMind 开源可解释 AI 文本检测器 DetectorScope,判据逐项打分 — algo_diver · 2026-10-29
- 两行代码写数值稳定的 softmax:减最大值防溢出的数学原理 — cneuralnetwork · 2026-10-29