AI自动评分与精神科医生中度一致,仿真评估可靠但难测增益幅度
SRSchmidgall · x · 2026-10-31
在 60 个场景的对比中，autorater 与精神科医生评分仅中度相关（ρ=0.57-0.58），而用仿真替代人类病人会放大测得的增益（0.34 vs 0.21）。
作者的结论是一个重要的方法论警示：仿真评估能可靠检测模型之间增益的方向，但不能反映增益的真实幅度。配图显示人类评分者场景下训练模型与基模型的差异 ρ=0.40，而 AI 病人与 AI 评分者组合时场景级差异相关性降至 0.14。
所属事件:谷歌用模拟患者RL训练Gemini做精神科问诊(11 条相关)→
「研究」频道最新
- 研究发现：对抗非人类相似模型训练时，能力迁移明显触顶 — saurabh_shah2 · 2026-10-31
- 上下文压缩研究：长任务中约束指令被遗忘概率是目标类内容的 6 倍 — maksym_andr · 2026-10-31
- CMU 发布 Gym-Anything：编码智能体自动搭建 25 个机器人物理仿真 — AkariAsai · 2026-10-31
- ENCODE ChIP-seq 模型按原样提供：底层数据差则模型也差 — jmschreiber91 · 2026-10-31
- 当模型「意见不合」：可及性无信号但 TF 模型显示结合位点被破坏 — jmschreiber91 · 2026-10-31
- Whole-Body Dexterity:把人形机器人全身变成灵巧操作器 — chris_j_paxton · 2026-10-31