AI Engineer NYC 演讲公开:主观任务 Agent 评测完整路线图
cwolferesearch · x · 2026-11-06
Charles Frye(cwolferesearch)把他在 AI Engineer NYC 的演讲视频、幻灯片和配套完整文字指南全部公开。主题是 agent evals 路线图,聚焦主观/不可验证任务的评测,但核心方法适用于任何 eval。涵盖内容:人类评测、质量指南、LLM judge 与 rubrics、人类与 judge 的校准、数据采样技术、更好的统计工具、A/B 测试与生产监控、benchmark 的持续演进。指南含更多细节与延伸阅读链接。
「编程与Agent」频道最新
- FastAPI 作者 tiangolo:听完 jxnlco 演讲后高频用语音操控 Codex — jxnlco · 2026-11-06
- 企业 AI 缺的是「可计算企业」层:把员工脑中的业务逻辑沉淀下来 — vishalmisra · 2026-11-06
- Claude Skills 冷启动关键:先喂给它你的真实业务 — aryanXmahajan · 2026-11-06
- 生产环境用 Claude/Codex/Cursor,要不要上 MCP 防火墙? — vdobroskok · 2026-11-06
- Firecrawl 推 Alexandria 金融数据层并宣布 7500 万美元 B 轮 — devdigest · 2026-11-06
- 给 swarm 每个智能体配沙箱和共享记忆:写了 12 条笔记无人读 — wandb · 2026-11-06