LoRA 微调 Qwen3 遇诡异 bug:caption 短于 4 token 必丢首行
prathamdmehta · reddit · 2026-11-09
一位硕士生在做 BrickNet(CVPR 2026)相关项目时遇到诡异问题:用 LoRA(PT 学格式 + SFT 条件化 caption)微调 Qwen3 0.6B 生成 LEGO 文本模型,当 caption 很短(如 "A red car." 约 4 token)时,模型稳定跳过根节点行,首 token 总是 "b",12 次全错;caption 约 18+ token 时则 36/36 全对。
作者已排除保存/解码 bug、分词不一致、强制前缀 "a" 也无效(模型随即当作根行已写)。31 词的注水 caption 反而可靠,15 token 附近则不稳定。目前的 workaround 是把短 caption 扩写成长描述。
作者提出三个待验证假设:训练 caption 可能全是长描述导致分布偏移、两个适配器 bf16 合并的精度问题(准备试 fp32)、以及比 prompt 扩写更好的方案如首行约束解码或短 caption 数据增强。
「研究」频道最新
- 深度长文预告：Score Centering 解析 RL 训练不稳定性的成因与修复 — cwolferesearch · 2026-11-09
- Reflection 发布开源模型 Beam:501B 总参数 23B 激活,训练用 AdamC 算法 — andersonbcdefg · 2026-11-09
- 实测发现:脉动阵列芯片上投机解码延迟呈阶梯式跳变 — teortaxesTex · 2026-11-09
- MoRE：混合专家 3D 世界模型统一处理刚体、毛绒玩具与布料 — anand_bhattad · 2026-11-09
- 开源项目 wsp:零梯度闭式求解,直接把事实写进 Qwen 权重 — kastnerkyle · 2026-11-09
- 学习抽象能力：AI agent 迈向物理世界的下一前沿 — jmugan · 2026-11-09