workflow-slm 详细复盘:如何把 3500 token 的 SOP 编译进 3B 模型

arpit_bhayani · x · 2026-10-24

这是 Arpit Bhayani 为其 workflow-slm 实验发布的详细技术文章。核心做法:删除 prompt 中 3500 token 的 SOP,通过 QLoRA 微调 Qwen2.5 3B,把事故排查流程(解析告警→查指标→查部署→读日志→定位根因→起草状态更新)写进模型权重。

文章给出了完整对比数据:微调 3B 端到端成功率 93.0%,优于 Gemini 2.5 Pro 带缓存(92.0%)与裸 API(90.0%);输入 token 降 91.3%;每 1000 起事故成本 $0.22,比带缓存方案便宜 8.4 倍。技术上最关键的一步是 loss masking——告警和工具输出不参与损失计算,模型只学习助手自身的决策序列。仓库 arpitbbhayani/workflow-slm 开源。