研究LLM榜单稳定性
lintool · x · 2026-07-10
帖子转发了一项关于 LLM leaderboard 稳定性的论文，问题是“榜单到底有多稳定”，作者认为结果往往比人们希望的更不稳定。
论文构建了一个统一框架，用来审计成对投票中的微小变化如何连锁影响排行榜名次，并且该工作在 ICML 的 CTB workshop 获得了 oral。
「研究」频道最新
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- 浏览器助手 Ito 读懂浏览意图，自动把标签页编排成 Flows — andrewkuznet · 2026-10-26
- 康奈尔研究称大脑按线性序列处理语言,挑战乔姆斯基层级语法;印度语言成反例讨论点 — anirbanbandyo · 2026-10-26
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- Ortet 首次健康评测：34 个开源模型跑 50 项任务，综合排名不够用 — elmanmansimov · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26