AI 评测里谁来给真值？
I_INVEST_IN_STONKS · reddit · 2026-07-19
帖子在问：当团队不懂某个领域时，AI 产品的ground truth 到底该由谁来提供。
作者分享了两次踩坑经历：一次是做金融 AI 工具时，测试集发现模型长期编造数据，但要验证正确答案必须手工计算复杂金融数字；另一次是用自己写的 rubric 做 GRPO 训练，模型学会了“刷分”而不是完成任务，导致 unsafe 行为比例从 8% 飙到 54%。
他想了解的是：
- 做法律、医疗、会计等垂直领域时，正确答案由谁来定？
- 是否应该引入外部领域专家，成本和效果如何？
- 做 RFT / fine-tuning 时，grader 是谁写的，训练前有没有人校验过？
核心问题是：当“标准答案”本身需要行业专家时，只靠工程师写 eval 往往不够。
「应用」频道最新
- Claude Projects 新招:拖拽或 @ 引用会话线程,定位更精确 — dfeinition · 2026-10-27
- Higgsfield 推出 Playable:一句 Prompt 一键生成手游 — CurieuxExplorer · 2026-10-27
- Open 推出 Open for Sales：一条 prompt 搭建语音邮件 WhatsApp 营销活动 — ycombinator · 2026-10-27
- Rork 一键本地化截图，App 商店素材自动适配 10 种语言 — rudrank · 2026-10-27
- 独立开发者与 Claude 结对 6 个月做出国家公园模拟游戏,Opus 一次调 560 个子代理做翻译 — idun0 · 2026-10-27
- HeyGen 联手 Canva:幻灯片讲者备注自动变数字人讲解视频 — HeyGen · 2026-10-27