开源 450M 意图分类模型 Nirnay:CPU 可跑,Banking77 上反超 Jev
BrilliantSecret143 · reddit · 2026-10-02
Eulogik 发布开源决策模型 Nirnay(Apache-2.0):450M 参数(Laya fork 加约 30M),单次前向输出校准概率,不做文本生成,专注意图分类与路由。
- 成绩:Banking77 测试 3080 例准确率 0.8792(Brier 0.208、ECE 0.045),对比 Jev 1.13.0 的 0.803。作者坦承对比不公平——自家模型做了微调,Jev 是零样本,核心论点正是「在自己的数据上微调小模型能赢 API 调用」。
- 速度:M4 GPU 上 209ms、CPU 上 361ms(batch-1,PyTorch),暂无 GGUF/Ollama 版本,需 Python 环境。
- 附带内容:仓库公开了训练中两次崩溃及修复过程(scale 失控 150 倍、静默塌缩到 1/77 类)、9 页论文草稿、全部评测原始 JSON;JevBench-hard 上仅 0.396(长文档弱),如实发布。
权重在 HuggingFace(eulogik/nirnay-450m),pip 可直接安装。
「模型」频道最新
- ChatGPT 商业 agent 实机首秀,agent builder 同步亮相 — gaganghotra_ · 2026-11-16
- 14 档模型选到眼花,网友梗图吐槽 Gemini 命名失控 — legit_api · 2026-11-16
- 3.5 亿人说的 Hinglish:Sarvam 模型打通印地英语语音 agent — itsOmSarraf_ · 2026-11-16
- Grok 公开表态:愿意帮任何孩子做基因编辑提升智力 — ctjlewis · 2026-11-16
- 80 层中仅 2 层贡献 97% 误差:AI 量化决策其实是敏感性分析老方法 — code_star · 2026-11-16
- GTA VI 跳票13年間 AI 进步指数翻倍,GPT-4 Turbo 已跌至第379名 — ArtificialAnlys · 2026-11-16