LangChain 实验室负责人38分钟讲透Agent评测与环境构建
LangChain · x · 2026-09-15
LangChain 团队转发其 Labs 负责人 Vrindavan（Tenex）与 businessbarista 的 38 分钟评测（evals）大师课，讲清为什么 evals 正成为 AI 进展的核心。
要点：
- Eval 的定义：agent 是否正确完成工作，由两块积木组成——Tasks（可检验的任务，如记录会议、起草邮件）和 Verifiers（判定对错的脚本、模型或人+清单）
- 今天的 eval 与三年前不同：agent 自主性大增，需要能忠实还原真实工作的 Environments
- 好的 eval 依然难建，前沿公司已花数百万美元收购各领域的 eval 数据
- LangChain 的主张：每个想「own their intelligence」的团队都应拥有自己的 evals，用于持续度量并改进 agent
所属事件:LangChain 负责人开讲 38 分钟 Agent 评测大师课(2 条相关)→
「编程与Agent」频道最新
- 同时跑 12 个做市 bot 实测：时间刷新 vs 距离刷新两种报价源对比 — cardosofede · 2026-09-15
- Claude Code被指隐性浪费token，YC工具称可省35-50% — ycombinator · 2026-09-15
- YC 转发 Turnstone:本地第二大脑驱动的持久 AI 工作区 — ycombinator · 2026-09-15
- OpenAI 称 2 名工程师用 Codex 将 habitat 服务重写为 Rust — imjustnewatai · 2026-09-15
- 韩国国家图书馆开放 MCP 服务,可查 1000+ 公共图书馆实时馆藏 — modelcontextprotocol · 2026-09-15
- Kash.click 用 MCP 让 AI 直连 POS:动嘴记账开票管库存 — modelcontextprotocol · 2026-09-15