CreativityPrism 基准出炉:3 大领域 8 项任务横评 17 个模型创造力
DanielKhashabi · x · 2026-11-12
研究者发布新基准 CreativityPrism,用于系统评测 LLM 的创造力。
- 覆盖 3 个领域共 8 项任务:发散思维(AUT、DAT、TTCT)、创意写作(短篇故事、TTCW、Creativity Index)、逻辑推理(NeoCoder、Creative Math)
- 每个输出从质量(Quality)、新颖性(Novelty)、多样性(Diversity)三个维度打分,如流畅性、原创性(思想/形式/内容)、n-gram 多样性、Convergence@k 等
- 已评测 17 个前沿与开源模型(图中涉及 OpenAI、Mistral、Meta、xAI、DeepSeek 等)
「研究」频道最新
- Acellera 发布 AceFF-2-OMOL,大幅推进分子势速度-精度 Pareto 前沿 — gdefabritiis · 2026-11-12
- DeepMind 播客：AlphaGenome 2 助科学家筛选数百万 DNA 变异找罕见病病因 — GoogleDeepMind · 2026-11-12
- 新解码法 CBS 无需训练让 beam search 在 MATH500 提升 8.2 分 — hbouammar · 2026-11-12
- Anthropic 研究：77 场景测试显示单体协调 Agent 碾压多用户各自为战 — ombre-ai · 2026-11-12
- 1440 种合成控制设定重估加州 20 美元快餐最低工资的就业效应 — RexDouglass · 2026-11-12
- banteg 推出 Sokoban 评测：66 关最短路线从 3819 步压缩至 3063 — banteg · 2026-11-12