芝大等提出用长尾表现度量 LLM 创造力:覆盖 15 个基准与 26 个开源模型
Uchicago · hf · 2026-10-14
University of Chicago、Microsoft、Stanford 联合论文,试图统一 LLM 创造力基准的碎片化现状。
- 核心主张:各基准背后共享的「创造力」可形式化为模型在参考输入-输出分布长尾上的任务表现,即输出相对文本源的稀有程度,与 novelty-quality 乘积公式衔接。
- 实证:用预训练数据的 n-gram 缺失作 novelty 代理,评估 15 个创造力基准与 26 个开源权重模型。发现创造力基准确实落在更长的尾区;且在更高尾区子集上的模型排名与 LM-Arena 的人类创造力判断更一致——标准基准亦然。
- 产出:提出低成本诊断指标 q@Tail(α),在现有基准的尾部子集上测平均任务质量;应用于各类「促创造力」方法后发现,通过提升长尾表现改善 LLM 创造力仍有很大空间。
所属事件:芝大等论文提出用长尾表现评估大模型创造力(2 条相关)→
「研究」频道最新
- Meta 研究员 Lester Mackey 将于 2027 年加入伯克利任 EECS 与统计助理教授 — LesterMackey · 2026-10-15
- Vals AI 实测前沿模型：MuJoCo 仿真中操控机械臂与人形机器人 — scaling01 · 2026-10-15
- AI 极端天气预报新突破：预警窗口从 10 天延伸到 6 周 — LesterMackey · 2026-10-15
- DuplexJev：免解码单token决策，8卡0.1秒答80个语音决策 — adventists-ai · 2026-10-15
- LLM-to-Flow 蒸馏:让科学生成器听懂自然语言的发现目标 — rbhar90 · 2026-10-15
- ETH推出不确定性感知世界模型，真机器人上跑通离线强化学习 — breadli428 · 2026-10-15