LoRA 分层消融实测：代码吃 MLP、推理靠注意力
narniaaaaa0421 · reddit · 2026-10-16
作者针对 Thinking Machines 那篇 LoRA 微调建议中被忽视的『逐层冻结』一行，做了带对照的实验：固定 seed、留出验证集、每次只冻结一个层组，bf16 SFT、rank 16、AdamW + cosine，基座均为 Qwen3 8B，分别测内部文档代码任务和文档分析/多步推理任务。
结论
- 全层训练在两类任务上都最好，官方建议成立，但各层贡献极不均衡，且哪个层组重要取决于任务类型
- 代码任务：冻结注意力、只训 MLP 得 59%（全层 61%），几乎打平；反过来只训注意力则崩到 38%
- 推理任务：结论反转——冻结注意力最差（49% vs 全层 72%），只训注意力 66% 但多步推理明显退化；作者换 seed 重跑结果一致
- 与原 writeup 的 OpenThoughts 结果相矛盾，作者推测差异来自数据集（推理轨迹 vs 长文档）
实践建议：默认全层开启；若参数预算紧张或想排查『微调学到了语气却没学会任务』，额外跑两次消融就能定位承载任务的是哪个层组。下一步计划做双任务混合微调实验。
「编程与Agent」频道最新
- 「LLM 代码糙」遭反杀:ffmpeg 热门库里就有 if/else 两分支一模一样的代码 — kingslyj · 2026-10-16
- NVIDIA agentic 演示全靠 guardrails,Reddit 作者疾呼:模型外检查不可少 — Creamy-And-Crowded · 2026-10-16
- Vitalik 给 AI Agent 套上 Tor+zkAPI+本地改写，造出「偏执模式」隐私壳 — DavideCrapis · 2026-10-16
- Beam 智能体微调 Qwen3.5-0.8B,工单决策准确率 4.7%→76.3% — ben_burtenshaw · 2026-10-16
- Beam 跑 ProgramBench 实测:单 agent 比五 agent 协作更强 — ben_burtenshaw · 2026-10-16
- Beam+Pi 编码智能体一键生成 macOS 本地听写应用 BeamSpeak — ben_burtenshaw · 2026-10-16