9B 模型加思维链无效？开发者 6 个 LoRA 实测蒸馏推理困境
SignificantZebra5883 · reddit · 2026-11-13
一位开发者在 Reddit 分享训练斯洛伐克法律领域 Qwen 小模型的经验与困惑：他先用 Opus 5 的思维链蒸馏出接近 Opus 水平的 27B PoC，随后把同一配方搬到 9B 上却结果扑朔迷离。
实验设置：500M token 法律语料 CPT（判例、法规、问答），4-bit QLoRA（rank 64、alpha 128、LR 2e-4），两阶段 SFT（1199+400 例，教师推理中位数约 1000 token）。共训练 6 个 LoRA：CPT 9B、原始 base、原始 chat 各分带/不带 thinking，评测用 30 份 held-out 判决书，Opus 5 做随机 A/B 评审。
关键发现：
- thinking 在 CPT 版上更差（10:20）、在 stock chat 上打平（15:15）、在 stock base 上占优（18:12）
- 所有 9B 版本对 27B 均大幅落后（最好也只 7:23），且 27B 的幻觉分明显更低（约 1.5 vs 2.6）
- 胜负与幻觉分随 A/B 顺序漂移，评审方差存疑
作者自认局限：样本仅 30 例；Opus 既是教师又是评审；9B 是 Qwen3.5 而 27B 是 Qwen3.8，未能隔离模型规模因素。他向社区求教：是 9B 太小、思维链需要更多样本才能反超，还是有不靠蒸馏的高效推理传授方法？长期计划是把配方迁移到未来的 27B Qwen4 并接入带搜索和 RAG 的 Claude Code 式 harness。
「编程与Agent」频道最新
- YC F26 团队开源单会话跑一万智能体的运行时 — KlausCodes · 2026-11-13
- 用 LiDAR+OSM+FLUX.2 生成等距像素城市,华盛顿版开源发布 — zsakib_ · 2026-11-13
- X 联手 MIT 等办 WSDM Cup:Autonomous Agent 写 Community Notes,奖金 1 万美元 — NathanpmYoung · 2026-11-13
- 开发者观点:Antigravity 想抢 Claude Code 用户,跑分优势远远不够 — Justin_Halford_ · 2026-11-13
- AI Lab 争做会议软件：语音上下文才是智能体的关键燃料 — signulll · 2026-11-13
- ComfyUI-FileExplorer 开源：像资源管理器一样加载多文件 — wiserdking · 2026-11-13