多个 LLM 评审意见一致就可信吗?Amazon Science 提出质疑
Betelbuddy · hn · 2026-09-15
Amazon Science 发文探讨 LLM-as-a-judge 的一个常见假设:多个 LLM 评审意见一致 ≠ 结论可信。文章指出 LLM 评审可能共享相同的系统性偏差——它们基于相似的基础模型和训练数据,因此「一致性」可能只是偏差的一致,而非答案正确。文中给出分析与缓解思路,提醒用 LLM 做评估时不能把跨模型一致简单当作验证信号。
「研究」频道最新
- AIR 调度器:按有效学习率设计,128B token MoE 预训练超越 cosine — stochasticchasm · 2026-10-30
- NVIDIA 研究员：利用仿真特权信息训练机器人策略，改进 Pi 0.5 — wellecks · 2026-10-30
- CMU 用 Agent 自动造 200+ 软件环境,Gym-Anything 拿 GDP 数据选题 — wellecks · 2026-10-30
- CMU 用 Agent 自动建 25 个物理仿真:前沿模型测试任务 0 通过 — wellecks · 2026-10-30
- 仿真训练的关键红利:利用模拟器特权信息改进模型 — wellecks · 2026-10-30
- DeepMind f_charton 谈 AI 与数学现状：庞加莱研究所演讲上线 — f_charton · 2026-10-30