本地 Qwen 复刻 Jev 决策：精度持平 96.53%,延迟还更快
Ok-Development6070 · reddit · 2026-09-19
开发者不想把数据发给第三方服务器,于是做了 TypeScript 小包 choosekit,用 llama.cpp 本地跑 Qwen3.8 27B (Q4) 实现 Jev 式的选项+概率决策。
在 SemIf 的 144 任务基准上与 Jev 托管 API 对比:两者精度完全相同(96.53%),但本地 Qwen 中位响应 239 ms,反而快于托管 API 的 368 ms。完整设置和结果已开源在 GitHub。
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04