研究者称 LLM 评测指标选择或无统一答案

研究者 Ian Arawjo 正在研究基于秩的 PPI（预测功率推断）检验，发现其统计性质与参数化 PPI 明显不同，感觉「像在发现某种新物理」，这些性质将影响论文中 LLM 评审结果的报告规范。相关讨论提出，「应该报告哪种 IRR 指标」可能没有脱离研究设计的通用答案，正确指标应基于特定测试对比、特定数据集、特定设计和效果量来计算。

2026-08-21 ~ 2026-08-21 · 2 条相关