DocOps 基准显示，前沿智能体仍难做好长链路文档操作
Jiazhen Jiang · hf · 2026-07-23
这篇论文提出了 DocOps：一个面向复杂文档操作的可验证基准，用于评估自主智能体在真实工作流里的表现。
- 论文用分层 taxonomy 把文档操作拆成原子动作，并进一步组合成越来越复杂的工作流。
- 作者在多个 agent harness 上，对闭源和开源模型做了系统评测。
- 结论是：即便是最强的前沿系统，在长链路、强耦合的文档任务上仍然明显不稳。
- 归纳出的 3 类主要失败模式是：长程状态跟踪崩溃、语义校验浅薄、对结构元数据的破坏性编辑。
- 这项工作指向的是：未来需要更鲁棒、非破坏性的文档智能体。
「研究」频道最新
- Exponential 发布 RepoInject 与 BrowserInject 基准，测 prompt injection 防护 — maksym_andr · 2026-10-27
- Redwood 研究:CoT 可控性评测严重欠激发,简单提示优化可提升 2-3 倍 — dfrsrchtwts · 2026-10-27
- 用 BeamZ 逆向设计光学系统跑通 MNIST 分类 — S_Conradi · 2026-10-27
- DeCert 框架无需参考答案评估生成式奖励模型的论证质量 — Guiquan Sun · 2026-10-27
- 新研究：VLM harness 同样是组合泛化器,可拆解复杂图像问题 — a1zhang · 2026-10-27
- 新文呼吁启动 AI 界「人类基因组计划」加速可解释性研究 — ninamiolane · 2026-10-27