同一份 LoRA 微调 Qwen3.5 全系：9B 反超 27B，收益几乎全靠学会说「无关系」
spilldahill · reddit · 2026-10-23
作者团队用同一份 LoRA 配方和提示词微调了 Qwen3.5 dense 的 0.8B/2B/4B/9B/27B 五个尺寸，做 BioRED 生物医学实体关系抽取（测试集 10,042 个实体对，88% 的正确答案是「无关系」）。
核心结果
- 原始模型各尺寸 F1 仅 2-8%；LoRA 后全部跃升至 48-55%
- 9B 最优（55.3%），27B 反而显著更差（配对 bootstrap 显示 -5.65，CI 不含 0），作者猜测是训练器给了 27B 一半的学习率
- 收益来源几乎完全是模型学会输出空列表「no relation」：微调后在负样本上乱贴标签的次数下降 11-21 倍，精度从 1-5% 升至 43-48%
- 参考锚点：BioRED 论文的 PubMedBERT 基线 47.7 F1，人工标注一致性 78%
给抽取类微调的六条建议（节选）
- 先数清测试集里的空答案占比——若大多数候选无答案，基模「总想说点什么」的倾向会封死精度上限，换更大基模也没用（原版 27B 仍给 70% 的负样本贴标签）
- 把「没有」做成显式输出（{"relations": []}）并放进训练数据；训练时 1 正 2 负的采样比即可，无需真实比例
- 格式错误的输出按答错计分
「编程与Agent」频道最新
- 微软研究院与卡内基梅隆将在纽约办 AI Agent 评估与治理研讨会 — nouhadziri · 2026-10-23
- 清华 THU-KEG 发布 RIDAR：自动检测并干预科研智能体造假行为 — THU-KEG · 2026-10-23
- 一个尾点破防 Copilot:VS 与 SSMS 修复 RCE 漏洞 CVE-2026-103572 — wunderwuzzi23 · 2026-10-23
- 安全专家建议：软件包只装发布超 24 小时的，系统更新则立即打 — altryne · 2026-10-23
- 开发者用 OpenAI Realtime API 语音控制机械臂：仿真实训技能+视觉定位玩井字棋 — Tarun122 · 2026-10-23
- 200 个并发 LLM agent 跑在 1GB 内存、$6/月的 VM 上：瓶颈是自家的保存锁 — swarmagent · 2026-10-23