0.8B 微调模型秒杀原版 9B，英语转 bash 准确率 79.4% vs 14.9%
AlternativeEnough352 · reddit · 2026-11-08
Reddit 用户为做完全离线的终端助手 dale，微调了 Qwen3.5 系列（0.8B–9B），把自然语言转成 bash 命令，并用确定性风险检查器在执行前标注安全/警告/危险，未经确认不执行。
关键数据（471 条 held-out 测试，同 llama.cpp、Q4KM）
- dale-9b：89.2% 准确率；dale-0.8B（纯 CPU、529MB）：79.4%，2020 无 GPU 笔记本上中位响应 1.7s
- 原版对比：Qwen3.5-9B 仅 62.8%，原版 0.8B 仅 14.9%；Gemma 4 系列同样被拉开差距
- 典型反例：原版 9B 会乱加 sudo（35 次不必要 vs dale 的 5 次）、用 Python 一行代码做 factor 能做的事、甚至写错语法；微调版会正确使用 kill -STOP、cp -n、passwd -l 等
最值的经验：0.8B 卡在 74% 后，DPO、27B 蒸馏、加轮次、调 lr 全都无效；最后发现是训练数据的请求写法太短太干净，与测试中「长请求+堆叠约束」分布不匹配。按测试统计重新生成约 9k 条数据再训练，348→375 正确（p=0.001）。结论：小模型在窄任务上平台期，先看数据写法，别急着上更花的方法。
交付物：51MB 单二进制（内嵌 llama.cpp，无 Python 无 server），代码 MIT，模型为 Apache-2.0 GGUF。作者注明基线未微调且带 8-shot 提示，测试为合成数据、由双 LLM 评判。
「编程与Agent」频道最新
- 实测 Scrapling v0.5.1:比 BeautifulSoup 快 349 倍,但有项测试翻车 — udmrzn · 2026-11-09
- 用 Claude Code 搭建高转化冷触达序列:四步工作流拆解 — EXM7777 · 2026-11-09
- 一条 prompt 整治混乱项目:让 Claude Code 找出所有隐式状态机 — udmrzn · 2026-11-09
- 用 Tailscale 从 iPad 远程跑 DeepSeek Harness — mishig25 · 2026-11-09
- 美国人月均订阅实际花 219 美元,作者用 Claude Code 一句话自动清理 — alex_verem · 2026-11-09
- lattedit:免费浏览器内 LaTeX 编辑器,支持 API 供 AI Agent 调用 — cneuralnetwork · 2026-11-09