DSPy 推出 ReAnchor 优化并警示评测阈值不校准问题
DSPy 核心开发者 Drew Breunig 指出,决策模型评测若不依据实际数据分布调整切割阈值便没有意义:以「邮件是否需要回复」分类为例,默认 0.50 阈值下 F1 为 0.774,156 封实际回复过的邮件中有近三成正例被漏掉。他还透露,本周仅靠运行 DSPy 新增的 ReAnchor 优化,就两次显著提升了开源决策模型仓库的基准结果。
2026-10-24 ~ 2026-10-24 · 2 条相关
- 不校准阈值,模型评测分数就是空谈:0.5 默认线漏掉近三成正例 — dbreunig · 2026-10-24
- DSPy 新增 ReAnchor 优化:克隆决策模型仓库两度显著提升基准结果 — dbreunig · 2026-10-24