150M 参数小模型拦截离题查询，Macro-F1 91.56% 超越顶级 LLM
kalyan_kpl · x · 2026-10-18
开发者发布 Ammu 1.0 Off-On Topic Guardrail 模型系列，用于在用户查询进入 LLM 前判断其是否与 system prompt 主题相关，从而节省 API 成本并降低延迟。
为什么不用 LLM 做离题拦截
- 逐条分类每条查询成本高
- 大模型体积大导致延迟增加
- LLM 对中高难度离题判断并不可靠
成绩（配图表格）
- Ammu 1.0 base（150M 参数）整体 Macro-F1 91.56%，超过 DeepSeek V4 Flash（81.95%）和 GPT-6-Luna（79.12%）；还有 68M/32M/17M 的 small/tiny/nano 版本，nano 也有 87.31%
- 训练数据为覆盖 easy/medium/hard 三档的高质量合成数据集（约 336 维度，原文截断）
- 各档位上，小模型在 medium 与 hard 查询上明显领先两个 LLM API
「模型」频道最新
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- Polymarket 开盘押注下一款 Gemini 模型由谁发布 — Polymarket · 2026-10-18
- Grok 一本正经盘点:对亚裔等群体有歧视,对非洲拉美用户没有 — teortaxesTex · 2026-10-18
- 「刷榜式 demo」鉴别法：换用 Mirror's Edge 场景测模型泛化 — teortaxesTex · 2026-10-18
- DeepSeek V4.1 提升非靠蒸馏？榜单显示 OpenAI Luna 仅得 38 分 — teortaxesTex · 2026-10-18