四成 PM 岗位要求会写 AI 评测,Evals 成招聘硬技能
every · x · 2026-10-03
Lenny 分享的 25 个产品经理招聘职位中,近一半要求候选人具备编写 AI 系统评测(Evals)的经验。
在 Every,Nityesh Agarwal 帮助用户基于自己的工作和标准构建专属 benchmark:新模型发布时跑一遍测试,再决定是否切换模型。
文章指出,当多个模型都能胜任时,决策取决于速度、成本以及输出与你期望写出的内容有多接近。建议从自己已经在做的任务和几个你会批准的示例出发——排行榜不会告诉你某个模型是否值得切换。
「漫话AGI」频道最新
- 旧金山信息业岗位较峰值减 22%,总薪酬却创新高达 570 亿美元 — randal_olson · 2026-10-03
- Anil Seth 批评「拟人等价 AI」：与真人无法区分的化身潜藏灾难 — anilkseth · 2026-10-03
- 生成式 AI 让创意成为瓶颈:开发者称最大的限制是想法不够多 — tlakomy · 2026-10-03
- 前 OpenAI 安全负责人：12 次大发布连轴转，犯错后可能没机会迭代 — CurieuxExplorer · 2026-10-03
- 物理学家 Deutsch:频繁处理观点的人最易陷入知识界时髦风潮 — eigenron · 2026-10-03
- 芯片设计组合空间达 10^260 万，AI 与 agents 把硬件变成搜索问题 — ai · 2026-10-03