微调 3B 模型编译事故排查流程:准确率 93%,成本降 8.4 倍
arpit_bhayani · x · 2026-10-24
Arpit Bhayani 分享了一个反向实验:把原本写在 system prompt 里的 3500 token 事故排查 SOP「编译」进一个 QLoRA 微调的 Qwen2.5 3B 模型,让流程知识存在权重里。
在 500 个测试场景中:
- 微调后 3B 模型端到端成功率 93.0%,超过带缓存的 Gemini 2.5 Pro(92.0%)和裸 API(90.0%),未微调基座仅 20%;
- 每起事故输入 token 从约 5200 降到 450(-91.3%);
- 每 1000 起事故成本从 $1.85(带缓存)降到 $0.22,便宜 8.4 倍。
关键细节是 loss masking:告警与工具输出被遮蔽,模型只学习助手决策而不背遥测数字。作者也坦承局限——流程一变就得重训。项目 workflow-slm 已开源,并附详细 write-up。
所属事件:把 3500 token SOP 微调进 3B 模型：成本降 8.4 倍(2 条相关)→
「编程与Agent」频道最新
- 对 Codex 失望，让 Codex 自己写 handoff 文件转交 Claude — lxfater · 2026-10-24
- 纯 Rust 地理空间库 terrio v0.5.0 发布：告别 GDAL 依赖 — giswqs · 2026-10-24
- DeepSeek Flash-1017 踩坑指南：预算计数出错、歧义理解差、别让它进「节能模式」 — karminski3 · 2026-10-24
- 四个 Agent 意见冲突时谁拍板？作者：不该是编排 Agent 说了算 — Environmental_Fly371 · 2026-10-24
- 采购 MCP server 前必问的 12 个问题：token 校验到多实例部署 — pournasserian · 2026-10-24
- 一张图讲透 Claude Code 项目结构：CLAUDE.md、Skills 与 Agents 全解析 — Aiden_Tech_Ai · 2026-10-24