论文揭示创意榜单测的是什么:15 基准指向长尾表现
shangbinfeng · x · 2026-10-15
芝加哥大学与斯坦福、Microsoft 研究者的新论文《Evaluating LLM Creativity through Long-Tail Performance》提出：各创意基准看似差异很大，实际测的是同一个东西——参考输入-输出分布的长尾表现。
- 覆盖 15 个创意基准、26 个开源权重模型，用预训练数据中 n-gram 缺失度作为新颖性代理
- 结论：创意基准比标准基准更集中在分布的长尾区域
- 在创意与标准基准上，从各自高长尾子集排出的模型名次，与 LM Arena 的人类创意评判更一致
- 由此推出低成本诊断工具 q@Tail0：衡量现有创意提示方法下长尾任务的平均质量
这解释了「新模型爬上创意排行榜」到底意味着什么——提升的其实是长尾表现。
所属事件:芝大等论文提出用长尾表现评估大模型创造力(2 条相关)→
「研究」频道最新
- 博主汇总:前沿模型接连攻克人类困求数十年的难题 — IgorCarron · 2026-10-15
- 斯坦福发布 CausalSmith：用 Lean 自动化因果推断理论研究 — StanfordAILab · 2026-10-15
- Cellular Intelligence 多重扰动平台获 scverse 2026 最佳海报 — arjunrajlab · 2026-10-15
- BARRACUDA 微流控芯片一次捕获百万单细胞，高通量测绘基因线路设计空间 — NikoMcCarty · 2026-10-15
- 斯坦福 DexAgent:一条人类第一视角视频即可生成机器人灵巧操作训练数据 — StanfordAILab · 2026-10-15
- 约翰斯·霍普金斯团队获 HCOMP 2026 最佳论文:提出「信息满意度」摘要评测新轴 — mdredze · 2026-10-15