4B 模型微调实战：Qwen3 蒸馏 72B 老师，分类准确率 72%→91%
Dangerous-Nerve-7766 · reddit · 2026-08-21
作者通过实验回答：在狭窄重复任务上，微调后的 4B 模型能多接近 72B 模型？任务为工单分类(6 标签)和发票提取(嵌套 JSON)。使用 Qwen2.5-72B-Instruct 生成合成数据作为 Teacher，在 Qwen3-4B 上进行 QLoRA 微调。
结果：
- 工单分类：Zero-shot 72.4% → 90.8% (Macro-F1 0.90)。
- 发票字段匹配：82.9% → 93.5%。
- 发票全字段正确行：1.2% → 62.5% (Zero-shot 几乎总是违反 Null 约定)。
关键发现：Zero-shot 基线在发票提取上极差(1.2%全对)，因为它系统性地违反了 Schema 的 Null 约定(如自行计算 subtotal 等于 total)。微调不仅提升了准确率，更重要的是学会了严格遵守 Schema 约定。成本在租用 4090 上每轮不到 2 美元。
「研究」频道最新
- WEDGE 论文：把导航失败经历变成可学习的训练环境 — _akhaliq · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- 清华团队证明:普通 Flow Matching 采样无法突破固定深度模型表达力上限 — SQZ · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16