Sys1Cal-v1 数据集揭示:Jev 概率校准藏着一个「我不知道」第三真值
Riccardo Porcedda · hf · 2026-09-30
作者构建了 Sys1Cal-v1 数据集，用于检验「系统一模型」（System One Models，即直接返回带概率分布的结构化决策的基础模型）的概率校准质量。
背景与动机：Jev 的核心卖点是返回的概率是校准过的，但这一宣称缺乏公开测试支撑；现有外部基准只测置信度校准，而非每个选项概率的数值含义是否正确。
方法：数据集由 True/False 问题构成，每题命题 A 的真实概率 P(A) 通过构造精确已知；用 Jev 的三个原语——Noul、Choice、Score——查询，以与真值分布的总变差距离评估「软准确率」。开源基线 SemIf 也纳入评测。
关键发现：分析 Jev 的 Score 和 Choice 答案校准后发现一个奇特现象——Choice 答案中 P(A) 与 P(neg A) 表现为两者之和为 1，但实际缺了一个 P(U)≠0 的项，等价于 Jev 内部压掉了「不确定」这个第三真值。通过恢复 P(U)，Choice 答案的软准确率中位数从 0.771 提升到 0.978——即使面对二元决策，模型其实想说的是「我不知道」。
「研究」频道最新
- Stephen Wright 等三套机器学习优化公开课视频上线,覆盖大步长与隐式偏差 — caglar_ee · 2026-09-30
- 开源框架 Arbor 让 AI agent 自主长期科研,无需人类逐步监督 — burkov · 2026-09-30
- AI 生成合金微结构：边缘损失+结构相似度损失保住晶界物理意义 — bravo_abad · 2026-09-30
- SOSP26 论文 YoloFS:290 起智能体误删文件报告催生 Agent 原生文件系统 — tianyin_xu · 2026-09-30
- 新论文:Claude Code、Codex 等 Agent 可随意篡改自身执行日志 — maksym_andr · 2026-09-30
- 新加坡国立大学发布 StoryEngine:状态锚定的长篇视频叙事智能体框架 — NationalUniversityofSingapore · 2026-09-30