新研究:LLM 创造力是『锯齿状』的,测试得分与实际多样性不相关
burny_tech · x · 2026-11-11
Sam Schapiro 等人发布新论文,提出 LLM 创造力呈「锯齿状」(jagged):模型在创造力测试得高分,并不意味着它在真实开放式问题上给出多样化的创造性回答。
核心发现:
- 所有语义距离类测试都不能显著预测模型输出的多样性
- 常用的人类创造力测试 RAT(远程联想测试)并不能很好衡量 LLM 的创造力,更接近一般能力的测量
- 例外是 DAT(发散联想测试),它确实能预测 LLM 创意写作表现
作者认为需要从第一性原理重新设计 LLM 创造力评测。
「模型」频道最新
- Bindu Reddy 实测新模型 Carbon：很强但比 Opus 5.5 慢 3 倍 — bindureddy · 2026-11-11
- Nat Lambert：黄仁勋若不再任 CEO，美国开源模型事业将受重创 — natolambert · 2026-11-11
- Gemini 改用功能化命名，暗推新模型 Carbon 与 Argon — Star-Light-9698 · 2026-11-11
- Pro 用户吐槽 GPT Image 2.6 Extra High 质量倒退不可用 — StudyDemon · 2026-11-11
- 27B 无审查微调模型实测：Ryzen AI Halo 上跑真实任务 — LHAD16 · 2026-11-11
- LLM 高频短语「铜燃烧的气味」被指为模型文风指纹,或始于 DeepSeek R1 — aiamblichus · 2026-11-11