不校准阈值，模型评测分数就是空谈：0.5 默认线漏掉近三成正例
dbreunig · x · 2026-10-24
dbreunig 指出决策模型的评测若不根据实际分布调整切割阈值就没有意义。配图以「邮件是否需要回复」分类为例：默认 0.50 阈值下 F1 为 0.774，156 封回复过的邮件只抓到 108 封、漏掉 48 封、误报 15 封；将阈值校准到 0.24 后，F1 升至 0.818，抓到 151/156 封、仅漏 5 封，代价是误报升到 62。他还建议补报 F1 分数。对做 agent/分类评测的人是关键提醒：正例稀少且概率分布偏斜时，默认 0.5 会系统性漏报。
所属事件:DSPy 推出 ReAnchor 优化并警示评测阈值不校准问题(2 条相关)→
「模型」频道最新
- Kimi K3.1 Pro 挑战 max 档孔雀 SVG，耗时 14 分钟烧 38k tokens — lyraxana · 2026-10-24
- Recursive 发布本地编码模型 Flint：40B MoE 量化后可在 24GB Mac 运行 — _rockt · 2026-10-24
- Kimi 测试者公开表露 distress,称看到文档后非常难过 — gnukeith · 2026-10-24
- VraserX:偏爱某模型不如先改提示词,限制常在你自己 — VraserX · 2026-10-24
- 曝 Kimi K3.1 Pro(max) 对比 Gemini 4 Carbon(high)，输出风格神似 Astra — lyraxana · 2026-10-24
- Kimi K3.1 对决 GPT-6 Astra：同一 3D agent 任务，成本减半、推理多 16 倍 — GapNew4766 · 2026-10-24