Ammu 1.0 量化守栏模型：17M 参数离题分类超 GPT-6-luna 10 个点
kalyan_kpl · x · 2026-10-29
kalyankpl 发布量化的 Ammu 1.0 Off-On Topic Guardrail 模型系列，用于在用户查询进入主 LLM 前判断其是否偏离 system prompt 定义的主题，从而省下无谓的 LLM 调用开销。
- 动机：用大模型做离题分类既贵又增加延迟，且在中等/困难查询上不可靠；
- 三个规格(ONNX INT8)：Base 150M、Tiny 32M、Nano 17M，量化后保留 FP32 性能的 98.0%/96.7%/99.6%，模型体积最多缩小 55.2%，CPU P50 延迟最低可提速 1.67 倍；
- 成绩：Macro-F1 分别为 89.64%/87.03%/85.26%，作者称最高超出 DeepSeek V4 Flash 0731(81.95%)7.69 个百分点、GPT-6-luna(79.12%)10.52 个百分点。
适合需要在生产管道里做低成本前置查询过滤的团队参考。
「模型」频道最新
- GPT-6.1 Computer Use 算账：$0.16 完成人类 60 秒任务，时薪 $9.6 — bytebot · 2026-10-29
- 研究者亲历:一个转向向量即可让 RLHF 模型持续输出违禁词 — voooooogel · 2026-10-29
- OpenAI 数学论证仍属原始研究，尚无专家公开评估 — maier_ak · 2026-10-29
- 传 OpenAI 模型 59 页 Lean 证明包揽局部光滑与 Kakeya 猜想 — maier_ak · 2026-10-29
- 开发者称谷歌新模型 Carbon 可靠到可“氛围编程”，两个应用全程没看代码 — cgarciae88 · 2026-10-29
- Sardine 实测 Jev 反欺诈:召回率 93%,远超 LLM 的 62% — jamdac · 2026-10-29