LLM 评委错误相关，传统多数投票让评测过度自信
burkov · x · 2026-10-19
- 文章讨论 AI 评测中的实际问题：当多个 LLM 评委给同一项目打分时，常用聚合方法假设各评委错误相互独立，但现实中 LLM 评委往往共享训练数据、模型架构、提示模板和失败模式，投票是相关的。
- 忽略这种相关性会导致评测过度自信、甚至自信地给出错误结论，而 benchmark 结果正日益左右模型选择、安全决策与政策判断。
- 文章提出并测试了「依赖感知」的聚合方法：显式建模评委两两之间的一致与分歧，与均匀多数投票等条件独立方法对比，检验能否更准确地推断真实标签。
「研究」频道最新
- 认知科学家 Anna Ciaunica 撰文：为何计算程序难以真正有意识 — AnnaCiaunica · 2026-10-19
- DNA 语言模型与 AlphaGenome 预测的不是同一件事 — Fair-Rain3366 · 2026-10-19
- MIT 打造多模态模型「看清」晶体键合,助力固态电池材料筛选 — MacrinePhD · 2026-10-19
- 8.5M 参数从零造卢干达语模型 Pearl-Chat,分词效率两倍于 LLaMA-3 — weskambale · 2026-10-19
- IRIS 用扰动筛选与迁移学习重建跨细胞类型的信号通路历史 — Dorian182 · 2026-10-19
- 港中文黄建波新视频：单卡装不下的模型怎么训？讲透 ZeRO 与 FSDP — jbhuang0604 · 2026-10-19