微调 Qwen 做 MongoDB 助手,0.8B 小模型本地跑达 83.6% 准确率
AlternativeEnough352 · reddit · 2026-11-11
开发者发布 askmdb：一个把自然语言转成 MongoDB 查询的本地 CLI 工具，基于微调的 Qwen 模型，单个 Linux 二进制内置 llama.cpp 和 MongoDB C 驱动，无 Python、无服务器、无 API key，查询需确认后才执行。
评测结果（500 题英西双语，以执行结果一致为正确标准，Q4KM）：
- askmdb-9b：91.6%（448–458 题正确）
- askmdb-4b：89.6%；askmdb-2b：86.8%
- askmdb-0.8b：83.6%，CPU 8 线程中位延迟 1.18 秒
- 对比：原版 Qwen3.5-9B 仅 47.8%，Gemma 4 E4B 约 45%
关键教训：第一版卡在 68.6%。作者按失败子原因分组分析，发现 50 道需要类型转换的测试题只对 1 道——训练集里 $convert 样例为零（尽管 297/330 个 schema 有混合类型字段，数据生成器悄悄回避了它们）。补 3000+2000 条针对性样例后从 343 → 418 题正确。
安全上不用模型判断：确定性 C++ 验证器按白名单检查整条 pipeline，$facet 里藏 $out 也会被拦。总成本约 14 美元 RTX 5090 租金（12 GPU 小时），代码 MIT、模型 Apache-2.0 GGUF。作者还在求教如何让 1B 以下模型做好 $lookup 多集合 join。
「编程与Agent」频道最新
- Nod 公布 Agent 评测方法：226 项任务完成率 98%，216 次记忆注入零失守 — rohanpaul_ai · 2026-11-11
- 9 年 Rust 老兵转推 Zig:AI 写码时代借用检查反成累赘 — nicolascraske · 2026-11-11
- 开发者称手写代码式微后，竞争重心正转向研究洞察 — janusch_patas · 2026-11-11
- LLM 幻觉让 72 个鸡蛋送上门，博主提醒先审计划再放行 — JFPuget · 2026-11-11
- 上海创新院开源 Nex-N2.6：321B 多模态智能体模型 — victormustar · 2026-11-11
- 「软件工厂」实战心得：人类偶尔在环的智能体造软件系统 — blaizedsouza · 2026-11-11