实测:QLoRA 微调 2B 小模型在分子分类上碾压闭源大模型
madeofAjala · x · 2026-11-22
作者在向 Logan K 和 Greg Brockman 求免费额度的推文中,附上了自己做的一份分子分类基准实测表,结论相当扎实:
核心发现:微调永远赢——即便是微调模型里最弱的 few-shot EF@1%(Gemma-2 2B 的 3.660),也超过闭源模型最佳 few-shot 结果(Gemini 2.5 的 3.340)。
数据要点:
- 经典基线:Random Forest ROC-AUC 0.683,XGBoost 0.665。
- QLoRA 微调 1 epoch 后,Gemma-2 2B 达 ROC-AUC 0.706(最高),LlaSMol-Mistral 7B 的 MCC 0.563 与 EF@1% 4.982 最佳,且推理速度仍达 0.0816 s/mol。
- 闭源 few-shot:OpenAI o3 ROC-AUC 仅 0.591,Gemini 2.5 为 0.528,明显落后。
- 95% bootstrap 置信区间显示 LlaSMol 与 Gemma-2 2B 的 EF@1% 排名可信,ROC-AUC 差异暂不显著。
「模型」频道最新
- 蚂蚁开源医疗模型 LingSante-3.1-flash:560B 参数,附 FP8/MXFP4 权重 — BerryBlush_Rogers691 · 2026-11-22
- Gemini 4 Neon 以 87.4 分登顶 LiveBench 2.0,领先 2.5 分 — demishassabis · 2026-11-22
- 网友称 Opus 5.5 最近出现明显降智 — jiayuan_jy · 2026-11-22
- 爆料称 OpenAI 疑用内部模型猛攻千禧年数学难题 — haider1 · 2026-11-22
- Sakana AI 宣布自研预训练模型 Sakana Sawara,首款 2027 年春发布 — SakanaAILabs · 2026-11-22
- HF 推出 harness adapters:Qwen3.8-27B 编码成绩 39% 提至 55%,token 减半 — SergioPaniego · 2026-11-22