AGORA 论文:用 IRT 免标注加权 LLM 评委,小样本下反超 Dawid-Skene
romitheguru · x · 2026-11-12
LLM-as-a-judge 常用多评委聚合来抵消单一评委偏差,但简单平均会让最弱的评委与最强的拥有同等话语权;而 Dawid-Skene 等混淆表模型在几百条样本的小型黄金集上参数估计不稳。arXiv 新论文 AGORA(2611.05556,11月3日)用项目反应理论(IRT)把每个评测项放到同一潜在质量尺度上,用「敏感度参数+有序评分阈值」刻画每个评委,从而在无人工标注的情况下从全部数据联合学习各评委可靠度。
关键发现:
- 在三个基准上,大评测集时 AGORA 与 Dawid-Skene 持平或更优;评测集缩到几百条时优势明显扩大
- 评委池可靠度越参差,优势越大
- 提供无标注的离散度统计量,可提前判断加权是否有效
- 学到的信任权重与评委的人类一致性相符
作者还提供了可试用的实现。
「编程与Agent」频道最新
- Alchemy 作者探索用 Z3 求解器静态证明 TypeScript 领域模型不变量 — samgoodwin89 · 2026-11-12
- SteerCamp 用户两周积累 1182 条记忆，agent 自然调用效果惊艳 — pramodk73 · 2026-11-12
- 三份值得读源码的 GitHub 仓库：nanoGPT、tinygrad、llama.cpp — cneuralnetwork · 2026-11-12
- Agent 通信七种方案横评:从 A2A 协议到自建消息层 — StrongCoffee85 · 2026-11-12
- 开发者用新 Claude 看使命召唤视频，做出浏览器战术射击游戏 — TAbrodi · 2026-11-12
- 开发者第二个 V8 补丁落地:TypedArray 查询提速最高约 30 倍 — cnakazawa · 2026-11-12