开源 450M 意图分类模型 Nirnay:CPU 可跑,Banking77 上反超 Jev
BrilliantSecret143 · reddit · 2026-10-02
Eulogik 发布开源决策模型 Nirnay(Apache-2.0):450M 参数(Laya fork 加约 30M),单次前向输出校准概率,不做文本生成,专注意图分类与路由。
- 成绩:Banking77 测试 3080 例准确率 0.8792(Brier 0.208、ECE 0.045),对比 Jev 1.13.0 的 0.803。作者坦承对比不公平——自家模型做了微调,Jev 是零样本,核心论点正是「在自己的数据上微调小模型能赢 API 调用」。
- 速度:M4 GPU 上 209ms、CPU 上 361ms(batch-1,PyTorch),暂无 GGUF/Ollama 版本,需 Python 环境。
- 附带内容:仓库公开了训练中两次崩溃及修复过程(scale 失控 150 倍、静默塌缩到 1/77 类)、9 页论文草稿、全部评测原始 JSON;JevBench-hard 上仅 0.396(长文档弱),如实发布。
权重在 HuggingFace(eulogik/nirnay-450m),pip 可直接安装。
「模型」频道最新
- JevBench 将扩充评测：LLM 路由、RAG 检索与内容审核任务 incoming — airesearch12 · 2026-10-02
- 曝谷歌内部模型 Argon：20 万员工日常实测 — Zergylord · 2026-10-02
- 号称欧盟首个系统一模型 JEV 上线，主打欧洲本地托管 — juanviera23 · 2026-10-02
- Gemini 莫名说出用户母亲真名，被追问后三次改口解释 — Exact_Firefighter864 · 2026-10-02
- GPT-6.1 Sol 以四分之一价格逼近 Astra,成本性价比飞速提升 — danielmckinn0n · 2026-10-02
- PostTrainBench v1.2 出新结果,后训练能力榜更新 — mariofilhoml · 2026-10-02