微调 Gemma 4 26B 提炼判决要旨，始终打不过基座模型

seruZ12 · reddit · 2026-08-20

Reddit 用户尝试微调 Gemma 4 26B A4B（base 与 IT 版本都试过），用 50 万份本地法院判决中约 20% 带「判决要旨」的高质量数据训练，让其自动生成判决书段落级法律要旨。结果在自建 LLM eval 上始终无法击败只用 prompt 的基座模型，唯一「赢」的场景是围绕特定抽取任务构建的 eval，但实际产出充满 padding 和泛化表述，不可用。

作者用 Claude vibe code 搭了整个流水线（unsloth + 租用服务器），怀疑自己犯了低级错误，向社区求助：26B 模型到底能不能学会这种复杂法律摘要任务，有哪些常见坑。