UIUC 发布 LMBuild:评测 LLM 能否造出「真能用」的结构
UIUC-CS · hf · 2026-10-07
UIUC 团队推出 LMBuild,一个评测 LLM agent 生成「可建造且功能可用」3D 结构的 benchmark,弥补现有评测只看几何质量、忽视物理可实现性的空白。
- 任务表示:将生成对象表示为装配结构,包含零件分解、关节、材料与装配序列
- 统一框架:交互式环境(agent 可检索/创建/放置组件)+ 基于 CAD 数据集并用维基百科知识增强的题库 + 覆盖结构稳固性、功能可供性、设计质量、物理实现的评测体系
- 30 个系统的关键发现:
- 前沿闭源模型已基本解决稳固性与对齐问题,但功能可供性和物理可操作性仍是主要瓶颈
- 强模型更擅长创建新组件,弱模型倾向依赖检索
- 提供功能规格说明能显著提升零件完整度、运动学与物理可操作性
结论:生成真实世界结构需要对功能、力学和 novelty 的更深推理。
「研究」频道最新
- 数学家团队形式化验证:n=11 方形装箱问题确为最优解 — ctjlewis · 2026-10-07
- 研究复现100场人类讨论:AI 智能体组共识率虚高,常一致地错 — alex_verem · 2026-10-07
- 早稻田实验:AI 智能体小组 98.7% 达成一致,其中 74% 一致地错 — alex_verem · 2026-10-07
- Marin 535B-A23B 开源模型训练过半,Percy Liang 分享心得 — ericjang11 · 2026-10-07
- Conjectures 平台矿工攻克悬置 40 余年的 Erdős 问题 579,Lean 验证通过 — IgorCarron · 2026-10-07
- hardmaru 神经进化教科书正式出版,提供免费在线版 — burny_tech · 2026-10-07