DivAlgo 语料揭示：24 个 LLM 的算法多样性均不及人类
TuhinChakr · x · 2026-10-17
研究团队发布 DivAlgo：一个包含 7,623 道竞赛编程题、每题带算法上多样化人类解法的语料库，并用它检验 LLM 能否生成人类水平的算法多样性。
主要发现
- 共测试 24 个模型，没有任何模型的解法多样性达到人类参考池水平。
- 论文用 Vendi 多样性指标(配合 CodeX-SFT)量化：在测试集上让每个模型生成 50 个不受控解法，人类参考池的多样性(图中星标)显著高于所有模型，包括 Gemini、Gemma、Qwen3-Coder、DeepSeek-V2-Lite 等主流模型。
- 即便通过率(pass rate)较高的模型，其解法仍集中在少数算法路线，正确率高≠解法多样。
这提示 LLM 生成代码时倾向于收敛到惯用解法，在需要探索不同算法思路的场景(如出题、教学、数据合成)存在结构性短板。
「研究」频道最新
- 开发者打造自适应语言 ink:规则带等价证明,让 AI 循环自优化 — _AustinCalvert_ · 2026-10-17
- NYU Courant 招聘博士后：研究自我改进 AI 与 AI for Mathematics — thegautamkamath · 2026-10-17
- Snorkel 前沿数据峰会十场演讲上线，聚焦 agent 评测与奖励作弊 — ysu_nlp · 2026-10-17
- 伯克利 AI 经济学读书小组：当劳动变成资本，专长归谁所有？ — TaniaBabina · 2026-10-17
- Zephon 落地 TorchTitan：换 GPU 数量恢复训练，全局批次哈希完全一致 — josh_wills · 2026-10-17
- 检索器能否处理「话到嘴边」查询?逐渐重要的意图理解试金石 — bclavie · 2026-10-17