开源 ninfer 跑 Qwen3.8 27B 复刻 Jev 决策 API,准确率 84.4% 接近官方
Unlucky-Message8866 · reddit · 2026-09-21
楼主受 Jev 热潮启发,用自研 ninfer 框架在 Qwen3.8 27B 上混搭多个开源实现,做出 Jev 风格的原生决策 API,完整跑通 JevBench v1.2 公开集(231 个分型决策任务)。
关键结果
- 总体准确率 84.4%(195/231),官方 Jev 1.13.0 为 86.6%;easy 档 100%,original 97.2%,hard 档 69.4%
- 校准极好:ECE 0.045(10 bins)、Brier 0.081
- 延迟 p50 127ms / p95 699ms(RTX 5090,3 并发),hard 档尾部延迟主要被 3.7k token 的 prefill 主导
- 按类型看:adversarial 与 routing-hard 100%,trap 88%;最弱是 temporal-numeric(33%)和 probability(50%)
- 在公开集准确率上已超过 SemIf、djev 等多数已发布系统,仅略低于 Jev 官方与 SemIf
作者自评这是「很脏的 POC」,仍有分配错误等 bug 待修;模型权重发布在 HuggingFace(knoopx/Swift-Qwen3.8-27B-NInfer)。
「模型」频道最新
- Claude Fable 5.2 登顶 Code4Scene,还钻了碰撞检测器的空子 — ZhitingHu · 2026-11-12
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12