零用户上线怎么办:开发者自造金标准 eval 数据集的困境
Illustrious-Roll9476 · reddit · 2026-09-19
一位开发者在产品上线前面临经典难题:大家都说 eval 数据集应从生产日志里来,但零用户阶段只能"凭空制造 ground truth"。他目前的做法:
- 大量构建合成用户与对抗性 persona,暴力枚举可能击穿 prompt 或触发幻觉的方式
- 用 Braintrust 管理 prompt 版本与 eval,维持单一事实源
- 关键顾虑:如何设计数据集结构,才能在未来平滑切换到真实 traces
帖主向近期上线过的开发者求教:day zero 是全合成起步,还是先上线再在生产中修?这是 agent eval 工程中很有代表性的冷启动问题。
「编程与Agent」频道最新
- 开发者吐槽:同事 3 小时的活 Claude Code 一小时搞定 — vxnuaj · 2026-09-19
- iMCP 1.5.0 发布:新增通话记录服务、按工具开关与自动更新 — pcuenq · 2026-09-19
- Claude Code 的 AGENTS.md 是回退不是合并,老项目配置会冲突 — HaktanSuren · 2026-09-19
- 实测 JEV 做低延迟分类器:快,但没那么快 — RexDouglass · 2026-09-19
- Stripe 开放 Muse 连接器：共享支付令牌打通 Agent 代购闭环 — jeff_weinstein · 2026-09-19
- Niteshift 宣布 GA 并获 Greylock 领投种子轮,推自然语言触发器 — hwchase17 · 2026-09-19