斯坦福 HW3 作业：用模拟器采集人机多轮交互数据并设计评估指标
alexisjross · x · 2026-11-05
Echo Shao 介绍其课程的 HW3「Building and Evaluating Human-AI Interaction」：学生通过模拟亲手采集多轮人-Agent 交互数据，并为难以自动验证的任务推导高保真评估指标。
团队与 @humansand 合作，免费向学生提供 Persimmon 模型作为用户模拟器。这是把「用 LLM 模拟用户做 agent eval」落到教学实践的一个具体案例，对做 agent 评估工程的人有参考价值。
所属事件:斯坦福 CS329X 作业让学生采集人机交互数据做评估(3 条相关)→
「编程与Agent」频道最新
- OpenAI 收编 Pierre：其开源开发工具已支撑 Codex 部分 — gdb · 2026-11-05
- Hugging Face 工程师用 agent 给 DuckDB 写出 hf_dataset() 函数 — lhoestq · 2026-11-05
- 法国自研搜索引擎 ibou 推出 API:专为 LLM 与 Agent 提供搜索能力 — IgorCarron · 2026-11-05
- YC 炉边谈话：Weave 融资 1350 万美元，量化 AI 编码真实产出 — ycombinator · 2026-11-05
- 团队在 ARC-AGI-3 挑战赛 5000 队中获第 7：好 harness 胜过大模型 — gklambauer · 2026-11-05
- Intent 移动端更新：PR 视图、语法高亮与 agent 私密索要密钥 — LukeW · 2026-11-05