最有价值的训练数据是真实 trace:会话、agent 运行、工具调用
ziv_ravid · x · 2026-11-20
Ziv Ravid 长帖第 5-6 条讲数据来源:他觉得最有用的数据是真实活动的 trace——用户会话、agent 运行、工具调用等,不需要完整标注,标签可以是稀疏的,不必每步都有答案。同时值得留出一小部分数据集,用来确认训练没有破坏原有能力。
此前他建议:从生产环境拿几百个真实任务起步,先手动翻看数据找感觉——期望的结果是什么、哪些案例好哪些不好——之后定义指标就容易多了。
所属事件:工程师长文拆解企业级 Post-training:先问为什么再死磕评估(22 条相关)→
「编程与Agent」频道最新
- Grok Bot 开源替代品 dusk bot 上线:复用已有订阅,给每个 bot 配记忆和电脑 — EXM7777 · 2026-11-20
- theo 用「薯条要不要 471 度炸」讽刺 agent 交互:全厨房等你一个决定 — seatedro · 2026-11-20
- 单个 HTML 文件无库实现交互式猫眼世界,AI 编程又一 demo — NathanWilbanks_ · 2026-11-20
- 多智能体 RL 新配方:团队协作解棋局,把 pass@k 变成 pass@1 — shizhediao · 2026-11-20
- 开发者实验直接操控本地模型注意力:勾选框即改 activation — round · 2026-11-20
- Railway 云端 Agent 任务上线:机器、会话、结果三者分离,复用机器不等于有记忆 — krishnan · 2026-11-20