AIE 演讲「评测、该死的评测」:分数涨了到底变了什么
heyneighbor · x · 2026-10-23
Sgjarmak 在 AIE NYC 的演讲《Lies, Damned Lies, and Evals》已上线,主题是智能体系统之间的比较方法:当你的 agent 分数上升时,实际改变了什么?以及如何检验你的评测是否支撑你要做的决策。转发者以「别再骗自己」的角度推荐。
「编程与Agent」频道最新
- Austin LangChain 演讲:小模型优先+缓存复用的分层推理路由法 — colinmcnamara · 2026-10-24
- NVIDIA 开源 OpenShell:自主 Agent 运行时沙盒,18.6k star — petrusenko_max · 2026-10-24
- 睡前给 Claude Code 一个目标:一夜筛出 380 家健身房拟出 30 封外联草稿 — Arindam_1729 · 2026-10-24
- Factory 发布 Anthropic 客户案例:谈大型代码库长程任务与「黑暗工厂」 — matanSF · 2026-10-24
- 开发者用 Rust 重写 Apache2 并加 Verus 规约:比继续跑 C 版更划算 — jd_pressman · 2026-10-24
- 用历史 CVE 做对抗测试:让 agent 自己定规格再自我攻击 — jd_pressman · 2026-10-24