EMNLP 新基准 DRFLOW:深研系统不只会写报告,还要会排个人工作流
mageed · x · 2026-10-27
ServiceNow AI Research 与 UBC 团队在 EMNLP2026(布达佩斯)发布 DRFLOW,一个面向「个性化工作流预测」的 deep research 基准。与企业常见的写报告不同,很多任务需要为特定个人输出有序步骤清单——比如该员工该按什么顺序提交哪些表格、公司流程哪个分支适用于他,这要求系统从政策、邮件、聊天记录中挖掘分散证据、忽略干扰项并给出行动承诺。
基准包含 100 个任务,覆盖 B2B、B2C、教育、医疗、法律五大领域,1246 个参考步骤锚定于 3900+ 来源,配 7 项诊断指标;mixed split 混入其他问题的工件使任务更难。
结果:工作流导向 agent DRFA 的 F1 达 57.9,比 DRBench 基线(47.9)高约 10 分(四种 LLM 骨干平均),最好成绩 63.9(GPT-5.2),远未解决。最难的环节是条件分支判定(38.2,仅比基线高 20.2)——判断哪个分支适用是真正的瓶颈;个性化全面性 56.5 vs 37.7;mixed 任务上所有 agent 都掉到 43.9。两个 agent 事实性都很高(87.8 vs 89.8),差距在步骤本身。
「研究」频道最新
- 传 OpenAI 25页证明 Sogge 局部光滑猜想，绕开二十年调和分析积累 — teortaxesTex · 2026-10-27
- 开源 AV3D-Harness：首个 3D 场景视听 real2sim 智能体框架 — Scobleizer · 2026-10-27
- 上海AI实验室提出S3AC：免分组rollout的actor-critic长推理训练 — Shanghai-AI-Laboratory · 2026-10-27
- Skill∞让智能体把「优化技能的方法」也写成技能，实现递归自我改进 — NationalUniversityofSingapore · 2026-10-27
- 229k 样本复现 Cohere 对 Qwen「恶意 PUT」指控:结论存疑 — builderjaydub · 2026-10-27
- AFROSCOPE 登 EMNLP：覆盖 640 种非洲语言识别，前 Frongier LLM 仅得 47.4 — mageed · 2026-10-27