仿真实验:基准全部私有化后,13 个基准中 10 个分差缩小
sanmikoyejo · x · 2026-10-11
该 LLM 基准-市场仿真为每个基准追踪一个数字:公开分数与消费者对同一模型满意度之间的差距。当所有基准设为私有时,13 个基准中有 10 个的差距缩小,但有 3 个反而扩大:指令遵循、临床推理、法律推理。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23