LangChain 开源 eval-engineering skill：用真实轨迹造 agent 评测环境
BraceSproul · x · 2026-08-25
LangChain 团队（Vtrivedy、Harrison Chase、Nick Hollon）发布实践指南和更新的 eval-engineering skill，讲解如何用真实世界数据（轨迹 + 人类反馈）构建合成环境与评测，用于度量、改造 harness 和后训练 agent。
主要流程组件：
- 收集 agent 将交互系统的世界知识；
- 用 Spec 协调构建——分为 World Spec 与 Task Spec；
- 人机协作迭代编辑 Spec 并注入人类反馈（包括 coding agent 该主动请求多少人类反馈等设计决策）；
- 执行管线根据敲定的 Task Spec 生成环境与任务；
- 通过在环境中真实跑 agent、挖掘 verifier 打分与轨迹来修复任务和环境的设计缺陷。
配套 skill 一键安装：npx skills add https://github.com/langchain-ai/langchain-skills --skill eval-engineering，目前装机 1.7K。
所属事件:LangChain 开源 eval-engineering skill 合成 Agent 评估环境(4 条相关)→
「编程与Agent」频道最新
- raylib 6.2 发布：本想打小补丁，却带来 300+ 项改进与百位新贡献者 — jsuarez · 2026-10-16
- 开发者吐槽：vibecoding 这个词和 AI、SI 一样词不达意 — eschadiol · 2026-10-16
- Doc2Harness 基准：19 个前沿模型测编码 Agent，最高通过率仅 53% — _akhaliq · 2026-10-16
- Perplexity 开源 Agent 沙箱平台 SPACE：每个任务独立 Firecracker 微虚拟机 — perplexity_ai · 2026-10-16
- 黑石集团全面采用 Factory 平台做自主软件开发 — matanSF · 2026-10-16
- 老用户退订 Windsurf：多个 AI 订阅来回切换的隐性成本太高 — tristanbob · 2026-10-16