AI PM 提醒:别把模型 eval 当产品指标,两者缺一不可
marilynika · x · 2026-10-10
AI 产品经理 Marilyn Nika 发布 AI PM 系列闪卡第 4 期：判断 AI 功能是否真正好用，需要同时测量两个维度，不要混淆 evals 与产品指标。
- AI 质量：输出是否足够好——任务成功率、事实性、有用性、安全性、延迟
- 产品价值：有没有人在乎——使用率、任务完成率、留存、省时
四种错配情形的应对：
- AI 很好但没人用 → 解决的是错误问题
- 用户喜欢但质量不稳 → 快速修复质量
- 两者都不行 → 停止项目
- 两者都好 → 加大投入
「应用」频道最新
- Google 在 Nature 发表个人健康智能体 PHA 底层研究 — pswider · 2026-10-24
- Gemini Notebook 更新:幻灯片与视频概览可自定义主题、格式和语言 — goyalshaliniuk · 2026-10-24
- 非程序员用 Claude 搭出 5 个本地 AI 伴侣：3D 房间、日记、跑团还能发 Discord — Pretty_Responsive_42 · 2026-10-24
- 谷歌开源医学基础模型 MedGemma 进军结核病筛查，年瞄准 123 万死亡病例 — ymatias · 2026-10-24
- 周六早晨 vibe coding:用 Claude 一口气做三个阅读类小应用 — evielync · 2026-10-24
- Night Nanny 做 AI 育儿助手：最难点是知道何时该叫醒父母 — JoshPurtell · 2026-10-24