Jev 相关性概率未校准：DL21 上打分超 0.9 的样本仅 66% 真相关
_reachsumit · x · 2026-11-11
Shengyao Zhuang 等 (arXiv 2611.11480) 检验决策型相关性模型 (如 Jev) 输出的概率是否与人类判断校准，结论是未校准、明显过度自信。
- Jev 及 27B pplx-decider 的排序能力平均优于 FLAN-UL2 和三个 cross-encoder
- 但在 DL21 上，Jev 打分高于 0.9 的样本对中只有 66% 真正相关
- 由于主要是量纲问题，仅用 2,257 条 DL19 数据拟合的两参数校准即可大幅修正，并能迁移到 DL21
- 校准后 Jev 的 DL21 Brier 分数低于 FLAN-UL2 与 cross-encoder；用期望 F1 选截断点也无需额外参数
对依赖 LLM 相关性打分做检索决策的 RAG 系统，这是「别直接信模型概率」的实证提醒。
「研究」频道最新
- 研究：小模型 NLI 任务上，简单 prompt + 少样本胜过复杂技巧 — rohanpaul_ai · 2026-11-11
- Martine 基准发布：多视角 3D 表面重建跨视角、分辨率与光照评测 — ssh4net · 2026-11-11
- 博主算账：40 万 token 上下文里 token 身份仅占 KV cache 信息量 0.00082% — aryaman2020 · 2026-11-11
- 图学习会议 LoG 2026 落地波士顿，11 月 20-22 日东北大学举办 — chaitjo · 2026-11-11
- 本周必读论文:人形机器人 HALO、GR00T 2、VLA 与 AI 科学家环境等 15 篇 — TheTuringPost · 2026-11-11
- codex 工具调用轨迹数据集登上 Hugging Face 热门 — israellaguan · 2026-11-11