中科大 GraphForge:证据图锚定真实文件合成任务,2 千条轨迹显著提升 GDPVal
ustc-community · hf · 2026-10-02
训练能读写文件、协调工具、产出交付物的「工作型 agent」需要基于大量真实文件、结果可验证的任务数据,但现有合成管道要么用模型造文件(缺乏真实性与多样性),要么基于真实文件却没有任务级验证器。
GraphForge 用证据图把任务和验证都锚定在真实文件上:
- 从职业种子出发组装真实文件工作区,并在文件关系上构建证据图;
- 任务描述与评分 rubric 均由证据图推导,每条标准都锚定到可验证它所需的文件;
- 初始 rollout 检验可执行性,修订 agent 依据原始文件修复任务与 rubric 后再收集轨迹。
用 2,169 条 GraphForge 轨迹微调 Qwen3.6-27B,GDPVal 在 OpenHands 下达 1445.7(+65.7),Workspace-Bench-Lite 与 SpreadsheetBench II 在 Claude Code 下分别 +7.7 与 +13.7;基于 rubric 的拒绝采样微调再获进一步增益。数据与模型已开源。
「编程与Agent」频道最新
- Brian Armstrong:专业化开源模型团队协作可胜过前沿大模型 — markjeffrey · 2026-11-19
- onboarding 该为 Agent 重做:用消耗的 token 数来衡量 — yenkel · 2026-11-19
- 提示词技巧:用「不设限于具体细节」描述氛围避免模式坍缩 — gabriel1 · 2026-11-19
- AI Agent 护栏分三类:输入、输出与限流的工具护栏 — Zachly · 2026-11-19
- Ramp 实测:原生 harness 普遍提升模型解题率,但效果因模型而异 — xeophon · 2026-11-19
- 物理学家用 Claude 写 JS,做出嵌入实时演示的网页讲义 — IgorCarron · 2026-11-19