专家质疑大模型评测:挑选指标即可得出任意结论
近期某项大模型基准测试结果引发开发者 Felix 的尖锐批评。他指出,该评测存在明显的操纵嫌疑,只要精心挑选和控制具体的评测基准项目,就能得出任何预设的结论。此外,他还特别吐槽了该评测在处理单批次请求时的性能指标表现,认为这种通过精确控制评测基准来得出特定结论的做法缺乏客观性。
2026-08-03 ~ 2026-08-03 · 2 条相关
- 基准测试的猫腻:通过控制评测项目可得出任何预设结论 — felix_red_panda · 2026-08-03
- 专家质疑大模型基准测试:精心挑选指标即可得出任意结论 — felix_red_panda · 2026-08-03