实测并行采样决策模型 Jev:路由决策约 1 秒,快普通 LLM 十倍
TigerOk4538 · reddit · 2026-09-20
作者对比了 TypeSafe AI 的 System One 模型(Jev)与普通 LLM 在纯决策/模型路由场景下的表现:
- 搭建了一个小型智能路由器,每条消息并行跑两条独立决策管线,一条走 Jev,一条走普通 LLM 的结构化输出,输入相同信号、做相同路由决策。
- 延迟差距明显:Jev 单次调用评估所有信号,约 1 秒返回决策;普通 LLM 需 4-14 秒。
- 原因是 Jev 采用并行采样而非自回归逐 token 生成。
作者认为 Jev 适合作为大模型前面的快速决策层,实验仍处于早期阶段。
「编程与Agent」频道最新
- mitsuhiko 发起 AI 编程痛点大讨论:评论区汇集智能体工程真实困境 — alexisgallagher · 2026-09-20
- Sitzmann 再回应:智能体可自选专用模型,结论又不好说了 — vincesitzmann · 2026-09-20
- 开发者开源 Gateway:让 AI 通过 MCP 安全管理真实 Linux 服务器 — td512 · 2026-09-20
- 设计师用 Claude Code 写 7 万行代码,做出可漫游的宇宙图集 Night Atlas — Sarntinel · 2026-09-20
- 用 Jev 做 Evals 裁判:比 LLM as a Judge 更快更便宜更稳定 — Hacubu · 2026-09-20
- 用 MiniMax 视频模型 + Blender 预演工作流复现建筑动画 — Hailuo_AI · 2026-09-20