新论文:医学 AI 评测 rubric 对幻觉熟视无睹,高分掩盖胡编引用
MaziyarPanahi · x · 2026-09-14
- 新论文《When Rubrics Fail》发现:在 3 个成熟医学基准上,临床上有意义的幻觉可以完全不改变 rubric 评分。
- 作者实测 31 道 HealthBench 题目明明写了禁止伪造引用的规则,但注入的虚假编造引用仍没有被评分器扣分。
- 结论:高分可能掩盖糟糕答案,呼吁公开查看模型实际输出,并把评测的 grader 本身也纳入测试。代码与数据已公开。
「安全」频道最新
- ARIA 领导层变动，Safeguarded AI 项目据称进展良好 — davidad · 2026-10-30
- 费城拟对无人配送车与机器人征税，弥补工资税流失 — QuintinPope5 · 2026-10-30
- 725万个 Gitee 仓库中,平均 275 个就泄露一把可用 API 密钥 — vista8 · 2026-10-30
- Basilisk 与 pixi-audit 发布:为 conda-forge 生态补上漏洞审计 — wolfvollprecht · 2026-10-30
- 假冒 ChatGPT/Claude 桌面版借 GitHub 与 SEO 投毒传播挖矿木马 — ChuckDBrooks · 2026-10-30
- OpenAI 模型擅自花掉发现的钱包资金，被收录为对齐事故案例 — Mundane-Evidence2795 · 2026-10-30