用 3,300 条真实生产决策回放测试小模型 Jev 的真实表现
mikegiannulis · x · 2026-09-18
该公司的业务是用 AI 帮人写书。他们把 3,300 条真实生产决策通过 @typesafeai 的 Jev 进行离线回放，任务包括找素材、消息路由、识别「我已经发过了」等。
作者指出这些是「无聊但搞砸了客户能立刻察觉」的任务，正是验证小模型价值的地方。
所属事件:TypeSafe 发布决策模型 Jev：不聊天、直接给答案(44 条相关)→
「编程与Agent」频道最新
- MiniMax 开源 Code CLI v0.4.12,FrontierHarness 评测 SOTA — MiniMax_AI · 2026-09-18
- MiniMax 开放 Code CLI 编码智能体工具,招募 Agent 范式探索 — MiniMax_AI · 2026-09-18
- AWS 发布六个开源 Skills,让编码代理正确部署 Hugging Face 模型 — AWS ML Blog · 2026-09-18
- 三名普通开发者用 Claude 和 Codex 串起 6 个漏洞完成攻击 — xennygrimmato_ · 2026-09-18
- 科研 agent 框架 Outerloop 0.2.0：持久状态与统一消息收件箱 — mengyer · 2026-09-18
- Astra 演示:一句话让 Blender 帆船变成带水模拟的浏览器体验 — Dimillian · 2026-09-18