Agentic Artifact Creation: Systems, Evaluation, Principles, and Opportunities
Tianfu Wang, Zhezheng Hao, Xilin Xia, Lixin Liu, Mengkang Hu, Hongzhang Liu, Xi Chen, Ziyan Liu, Xiankun Lin, Weijia Zhang, Nicholas Jing Yuan, Hui Xiong
cs.MM
2026-08-28
把259篇工作筛成状态化构建：系统真正改产物，且中间观察能改后续动作。跨六族的难点是决策耦合，以及失败能否在仍可修时被看见。
直接生成在「看一眼就能判、重来成本低」的任务上够用。海报、仓库补丁、可玩场景这类交付物不行：内容一改，版式、依赖、下游约束跟着变；检查又常常来得晚，修的时候已经不知道该动哪一块。
现有综述多按模型族、Agent 架构或单一模态来切。这篇把分析单位换成最终要交付的产物，问的是中间观察能不能改后续动作。改不了，就还是一条单向流水线，最后一次检查只能整份重来。
作者把 Agentic Artifact Creation 卡在一次产物构建 episode 上，三条一起才算：系统真正在构造或修订这份交付物；产物或过程状态跨步骤保留；至少一次中间观察改了后续动作、修订目标、分支或停止决策。只消费产物的助手、观察不影响控制的工作流、一次性生成器都被筛掉。人机混合作业只要满足这三条，也算进来。
功能上拆成三个角色，反复转到接受或终止：
检索覆盖 arXiv、Google Scholar、Semantic Scholar、ACM DL、IEEE Xplore，时间窗从 2023 年 1 月到 2026 年 8 月 20 日，再用引用追踪和会议抽查补漏。筛完留下 230 套系统和 29 个构建评测，共 259 条。产物按六族组织：文本、二维视觉、音频、视频、空间、行为（可执行、状态依赖的响应）。应用场景（创作、品牌、教育、专业工作、科研、工程设计）另开一轴，不跟产物族绑死。
跨族比较的结论比模态清单更硬：构建难度主要看决策绑得有多紧、失败能不能在仍可修时被看见。学出来的 judge 如果和生成器共偏好、共盲区，独立证据就加得不多。
评测被拆成三个不可互换的目标：交付物本身、构建轨迹、构建系统。轨迹侧，Mr. Dre 报告后续修订会让已经覆盖过的内容或引用质量出现 16%–27% 的回退。系统属性更稀：只有三个协议评了任务能力之外的系统性质，各只覆盖一项。
公开的 Design Arena 排行榜（2026 年 8 月 19 日快照）被拿来说明总分会掩盖任务差。
| 指标 | 数字 | 对照 |
| 纳入工作 | 259 | 230 套系统 + 29 个评测 |
| Mr. Dre 修订回退 | 16%–27% | 已覆盖内容或引用质量 |
| 评系统属性的协议 | 3 | 任务能力之外各评一项 |
| Models Arena 的 Kimi K3 | 五项任务均最高百分位 | Claude Fable 5、GPT-5.6 Sol、GLM 5.2 紧随其后 |
| Agents Arena 原生 Android | Kimi K3 第 54.3 百分位 | Claude Fable 5 到顶 |
| Agents Arena 的 GPT-5.6 Sol | 幻灯片 87.5 / 移动应用 34.2 百分位 | 同一快照内的任务差 |
独立评测成熟度也不均。二维视觉和行为产物最厚，音频、视频、空间三类不少协议来自系统论文本身。口语音频在严格构建语料里没有专属系统记录。
四条原则是：把承诺外化到可寻址状态；在依赖或后果变化处划清控制边界；让反馈连到可执行的局部修补；改完后让失效依赖过期，再重验受影响状态。第四条作者自己标成证据还比较稀。
正在做「Agent 写海报、改仓库、搭场景」的人，可以直接拿这张问题清单筛系统：状态保存在哪、失败怎么定位、能修多细、证据会不会过期。直接生成没有被判死刑。失败便宜、几乎没有要保住的已接受状态时，加这套控制可能更贵。
立刻能用的判断有三条。LM judge 不能当独立验收。多 Agent 分解不等于可修。轨迹回退要单独报，不能只报终稿分数。配套列表按这套编码放出，方便跟后续工作。
这是一篇划界和编目的综述，价值在比较轴，不在某一族上刷分。
检索导出、分源产量、调和前的标签没有保留，别人很难按同一口径复现纳入和排除。2026 年只统计到 8 月 20 日。第四条原则（选择性重验）被明确标成证据偏少。Table 4 是代表性协议，不是频次估计。
Design Arena 数字是外部榜单快照，不是作者自己的对照实验，模型名和百分位会随榜变动。定义本身在筛人：不满足「中间观察改后续动作」的系统进不了这 230，再用这 230 来支撑定义，循环是存在的。六族难度透镜是定性的，作者也说不是因果排序。