FineDNA 中训被证实是 DNA 任务 RL 生效前提

作者分享了 Qwen3-14B 的 midtraining 配方细节：用合适的学习率在 FineDNA 上中训后，DNA 分数持续提升(序列恢复达 0.56，ClinVar 变异效应 AUR 也得到改善)，且英文能力没有下降。实验还表明中训是 RL 生效的关键——直接在 Qwen3-14B 上做 RL，在 FrontierVEP 上始终停留在约 50% 的随机水平。

2026-11-01 ~ 2026-11-01 · 2 条相关

• Qwen3-14B 用对学习率做 FineDNA 中训：DNA 涨分且英文不掉 — LoubnaBenAllal1 · 2026-11-01
• FineDNA 中训是 RL 生效前提：直接在 Qwen3-14B 上 RL 仅停留在随机水平 — LoubnaBenAllal1 · 2026-11-01