等不及 Jev 排队？开源 OpenJev 用 DiffusionGemma 复刻同款 API
Every-Comment5473 · reddit · 2026-09-18
TypeSafe 本周二发布了超快概率问答服务 Jev：输入数据加类型化问题（是/否、单选、0–N 量表），为每个选项返回概率。一位开发者等不到候补名单，基于 Matt Mastracci 的 vLLM PR #57250（在 DiffusionGemma 上用单步去噪模拟同样效果）搭出了开源替代品 OpenJev：
- 兼容 Jev API：改个 base URL 就能用 TypeSafe 的 SDK；Apache-2.0 开源，提供 Docker 镜像（vLLM+API 一体）和免费托管 API（每账号 1 亿 tokens，不存提示词）。
- 延迟数据：官方称前沿 LLM 同任务需 3–329 秒，Jev 为 70–500ms；OpenJev 托管端 170ms p50（GPU 上 73ms）。
- 效果对比：Mastracci 的实测中 DiffusionGemma-as-Jev 准确率 198/201 vs Jev 191/201，且在 DGX Spark 上更快。
项目仍是 v0.1，依赖一个未合并的 vLLM PR，作者自备 RTX PRO 6000 跑生产。
所属事件:OpenJev 开源：单张 3090 本地复刻 Jev 服务(3 条相关)→
「Infra」频道最新
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04