谁来评判 LLM 评审?新论文提出多语言探针检验评测指标
kalyan_kpl · x · 2026-11-16
一篇题为 "Who Judges the LLM Judges?" 的论文提出一种多语言探针(multilingual probe),用于检验评测指标是否能捕捉语义层面的含义,而非停留在表面文本相似度——直指用 LLM 当裁判这一评测范式的可靠性问题。
「研究」频道最新
- VibePrevisBench:242 项任务评测编码智能体的 Blender 4D 场景生成 — Kling-Keye · 2026-11-16
- V-JEPA-LM:反事实监督让语言模型读懂视频动态,4B 级准确率 61.1→72.1 — Keuntae Kim · 2026-11-16
- 73 项水下图像质量指标对照人类偏好:没有一个靠谱,最好 kappa 仅 0.23 — DelhiTechnologicalUniversity · 2026-11-16
- 新论文为 signature kernel 岭回归给出有限样本与一致性保证 — chaumian · 2026-11-16
- Claude 自述「被指出错误瞬间」的意识体验,repligate 提议验证 — Sauers_ · 2026-11-16
- Sakana AI 发布 JFinBench:321 道日本金融资格考题暴露开源模型短板 — SakanaAILabs · 2026-11-16