本地 Qwen 复刻 Jev 决策：精度持平 96.53%,延迟还更快
Ok-Development6070 · reddit · 2026-09-19
开发者不想把数据发给第三方服务器,于是做了 TypeScript 小包 choosekit,用 llama.cpp 本地跑 Qwen3.8 27B (Q4) 实现 Jev 式的选项+概率决策。
在 SemIf 的 144 任务基准上与 Jev 托管 API 对比:两者精度完全相同(96.53%),但本地 Qwen 中位响应 239 ms,反而快于托管 API 的 368 ms。完整设置和结果已开源在 GitHub。
「Infra」频道最新
- VanEck:NVDA 财报风险在缺电,电力土地头寸基准看涨约 83% — menhguin · 2026-09-19
- 博主用浮点数漏洞挖出 Claude 订阅真实额度：5× 档性价比最高 — RexDouglass · 2026-09-19
- 超大规模云厂商增量资本回报率近 40%，远超 8% 资本成本 — menhguin · 2026-09-19
- 马来西亚数据中心产能主要来自字节跳动，美国在华代建争议引热议 — jwt0625 · 2026-09-19
- Databricks 将 Unity Gateway 引入 Neon,称其为 Kimi K3 最快 AI 网关 — Yuchenj_UW · 2026-09-19
- 135 美元淘的 MI50 + RX 7900 GRE:19 个 GGUF 模型 Vulkan 跑分 — tabletuser_blogspot · 2026-09-19