LLM 评测不可靠？新框架提升 30% 人类一致性
dair_ai · x · 2026-08-30
构建 LLM 评判员（LLM-as-a-Judge）具有挑战性。新研究提出了一个基于真人对话的参考基准，包含 3 万余轮专家生成的回合和 3.6 万条人类标注。结果显示，面对专家级判断时，经典的自动指标和无参考的 LLM 评判方法都显得不可靠。研究者提出的「混合评判员」框架通过组合多种评估信号，将与人类评估的相关性提升了约 30%。
「研究」频道最新
- 伯克利团队用扩散模型直接采样机器人策略权重，Unitree G1 真机走跑起舞 — berkeley_ai · 2026-10-16
- HKU 等提出 OneWM：统一因果训练让世界模型与动作学习互相增益 — IAAI233 · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- 5.8M 参数语音事件检测器：为 Whisper 转录补上笑声呼吸与背景音 — Ayush Kumar Bar · 2026-10-16
- 华为等提出 SUPRA-Tex：单图生成可重打光 3D 材质，所见即所得 — Chen Yang · 2026-10-16
- RoboVista 机器人理解基准发布:Gemini-4 Argon 81.9% 登顶 — berkeley_ai · 2026-10-16