550 条样本训练 15 分钟,小模型本地推理 0.06 秒替代 Gemini
newz2000 · reddit · 2026-09-26
一位开发者分享了他首次训练小型语言模型的完整过程，用一个 50MB 的小模型替代云端 API：
背景：他的内部工具用 Gemini Flash（最低思考预算）做判断类任务，约 0.9-1.2 秒。但用户在 App 里操作极快，连 0.9 秒的延迟都影响体验。
做法：
- 原 prompt 是判断字符串 b 是否以某种方式关联字符串 a，输出布尔值
- 确定性 Python/JS 代码准确率仅 66%，Gemini Flash 达 99%
- 收集约 550 条真实用例，再用两个前沿模型仿造扩展到约 2500 条训练数据
- 在 RTX A6000 16GB 上仅训练 15 分钟
结果：50MB 小模型本地 CPU（老 Threadripper）推理仅 0.06 秒，准确率 97%——在这个场景下 99% 与 97% 的差距完全可以接受。他计划部署到服务端并持续记录准确率以补充训练，还考虑浏览器端推理。
「编程与Agent」频道最新
- Explosion 发布 Ellf 目录：52 个 NLP 模板与多智能体标注工作流 — _inesmontani · 2026-11-11
- 梗图吐槽:所谓随机 AI Agent 架构就是换了马甲的马尔可夫链 — PrasoonPratham · 2026-11-11
- OpenCode 上线 Gemini 4 Carbon 与 Claude Fable 5.2 — dean_rie · 2026-11-11
- OpenClaw 发布 v2026.11.3 安全补丁，56 个 PR 修复凭证泄露 — dean_rie · 2026-11-11
- Fable 5.2 首日拿下编码 Agent 中 1/4 的 Claude 回复 — dean_rie · 2026-11-11
- QA 工程师想用 MCP Agent 自动验证归因回传，替代每两周半天的人工检查 — Soobhee_Chukwutosin · 2026-11-11