Hamel Husain 提醒:做决策别只看跑分,要看自己产品的专属 eval 数据
HamelHusain · x · 2026-11-14
AI 工程领域知名专家 Hamel Husain 澄清自己的观点:他并非支持或反对某个 benchmark 或厂商,而是主张人们自己去查看数据。他强调,判断某个方案是否真正有效,应该依赖针对自己产品的专属 evals,而不是抽象的公开基准;不过他也现实地承认,大家仍会用 benchmark 做决策,所以至少要真正看一眼数据。
「编程与Agent」频道最新
- Anthropic 发布 Claude Fable 5.2 官方提示指南，effort 设 high 可减半未完成任务 — JohnAlexander · 2026-11-14
- jhong：AI 编码最大增益不在模型，而在编排层理解用户真实意图 — gharik · 2026-11-14
- Anthropic 免费放出 37 分钟教程，教你构建自动化整企业的 AI Agent — JohnAlexander · 2026-11-14
- Snowpaw 演示多智能体协作：工程师 agent 修解析器，营销 agent 写周报 — gnukeith · 2026-11-14
- Snowpaw Scout 演示在虚拟机中自主操控 Fedora 桌面 — gnukeith · 2026-11-14
- 用 Claude Agent SDK 写出最小可用 Agent,Python 实操演示 — No-Tomatillo-1938 · 2026-11-14