研究LLM榜单稳定性
lintool · x · 2026-07-10
帖子转发了一项关于 LLM leaderboard 稳定性的论文，问题是“榜单到底有多稳定”，作者认为结果往往比人们希望的更不稳定。 论文构建了一个统一框架，用来审计成对投票中的微小变化如何连锁影响排行榜名次，并且该工作在 ICML 的 CTB workshop 获得了 oral。
lintool · x · 2026-07-10
帖子转发了一项关于 LLM leaderboard 稳定性的论文，问题是“榜单到底有多稳定”，作者认为结果往往比人们希望的更不稳定。 论文构建了一个统一框架，用来审计成对投票中的微小变化如何连锁影响排行榜名次，并且该工作在 ICML 的 CTB workshop 获得了 oral。