BrickBench:评测 Agent 按文本拼乐高,能通过物理约束但逊于人类设计
Peter Kulits · hf · 2026-10-09
研究者发布 BrickBench,一个 agentic 文本条件乐高套装设计基准:给定 prompt,agent 需产出一个满足语义与设计标准、且物理上真的能拼出来的组件。
- Agent 要从离散零件库中选取零件,并联合推理局部与全局约束。
- 在三种不同规模与零件可用性设置下,从有效性、对齐、设计三方面打分。
- 同时发布 BrickAgent 环境,供编码 agent 构建、检查、验证其设计。
- 结论:领先 agent 基本能满足可验证的物理与语义要求,但设计水平不及人类方案。
- 基准与环境已在 brickben.ch 开源。
「编程与Agent」频道最新
- Eazo 让个人 Agent 变成可复用的 App,而非聊天窗口 — alifcoder · 2026-10-09
- Qoni 发布个人 Agent 基础设施：身份、执行与记忆三件套开箱即用 — alifcoder · 2026-10-09
- 用 Codex 剩余额度过夜创业:24 小时自动签下 10 家客户 — CtrlAltDwayne · 2026-10-09
- 20 秒起 250 台 VM 跑 Agent 沙箱，成本仅 10 美分 — RexDouglass · 2026-10-09
- NVIDIA 团队新论文:从基座模型预测后训练后编程 Agent 表现 — heghbalz · 2026-10-09
- autoicd-mcp 发布:临床文本自动编码 ICD-10 并可检索 7.4 万条码 — modelcontextprotocol · 2026-10-09