Qwen3-14B 用对学习率做 FineDNA 中训：DNA 涨分且英文不掉
LoubnaBenAllal1 · x · 2026-11-01
作者给出 midtraining 配方细节：用合适的学习率在 FineDNA 上中训 Qwen3-14B,DNA 分数持续提升(序列恢复 0.56、ClinVar 变异效应 AUROC 0.92),而英文能力保持在起点水平不遗忘。配方已开源。
所属事件:FineDNA 中训被证实是 DNA 任务 RL 生效前提(2 条相关)→
「研究」频道最新
- AI 安全研究者：eval 得 100 分说明评测本身有问题 — AI Engineer · 2026-11-01
- 让 Agent 自管激活值：用 Control Vectors 探索模型自控实验 — sloppenheimer · 2026-11-01
- FlashRSI 开源：12 种 RSI 算法统一评测，泛化仍是难题 — HuaxiuYaoML · 2026-11-01
- Claude 自主设计蝎毒蛋白结合剂:211 个送实验室验证 17 个结合成功 — shoumikgoswami · 2026-11-01
- Hugging Face 团队 Carbon-X:DNA 任务超越所有开源语言模型 — LoubnaBenAllal1 · 2026-11-01
- FineDNA 中训是 RL 生效前提：直接在 Qwen3-14B 上 RL 仅停留在随机水平 — LoubnaBenAllal1 · 2026-11-01