蛋白质折叠数据能让大模型更会推理:微调后 10 项基准全涨
SJUT1 · hf · 2026-10-05
论文提出核心问题:学习蛋白质折叠能否教会通用模型可迁移的推理能力?
- 构建 FoldingCorpus:从已解析的蛋白质结构生成大量可精确验证的空间/拓扑问答数据
- Fold2Reason 训练配方:同一共享表征上同时用两类信号做后训练——语言头预测离散结构答案 + 解码连续 3D 几何
- 在 FoldBench 上结构预测得分达 Qwen3.5-9B 的 2.7–3.5 倍
- 泛化效果:覆盖空间、图、科学与通用推理的 10 项基准全部提升,宏观平均准确率从 45.09% 升至 48.33%(+3.23 pp)
- 对照实验:用随机、合成或打乱的结构数据训练,收益明显更小甚至为负
结论:非语言、结构密集的科学数据可作为后训练监督信号,系统性提升语言模型的通用推理能力。
「研究」频道最新
- 佛蒙特大学获最高 3800 万美元打造 ICU 患者数字孪生 — HealthcareLdr · 2026-10-05
- SimuVerity基准:最强Agent生成Simulink模型仅得42.86分 — Ruiqi Zhang · 2026-10-05
- MIT提出LSL框架:无需旧数据即可解决大模型灾难性遗忘 — MIT · 2026-10-05
- HelixWorld:单GPU实时24FPS的音视频同步交互世界模型 — NoizAI · 2026-10-05
- BlockRank：用分块稀疏注意力加速 LLM 文档排序 — dejanseo · 2026-10-05
- Judea Pearl：逻辑与因果推断是西方科学两大支柱 — yudapearl · 2026-10-05