ETH/Oxford 新方法 LFD:用冻结 LLM 蒸馏出「听得懂人话」的科学生成器
mmbronstein · x · 2026-10-15
arXiv 论文《LLM-to-Flow Distillation (LFD)》提出一种无需显式代理奖励、即可让领域专用生成器对齐自然语言科学目标的方法,作者来自 ETH、Oxford 等机构(含 Bronstein、Krause)。
- 背景:LLM 拥有广博的化学/生物知识,而流/扩散生成器掌握产出有效序列与几何结构的先验,二者能力长期割裂;实验科学中显式奖励函数往往缺失或难以学到
- 方法:冻结 LLM 充当领域生成器的自适应教师——给定如「生成有抗癌活性的多肽」的目标,教师按生成器当前能力构建中间子目标课程,逐步引导其逼近最终目标;每轮由 LLM 评判候选样本,产生的偏好通过 DPO 迭代蒸馏进生成器
- 效果:即使初始模型对目标设计的概率几乎为零,也能提供密集学习信号
论文、代码、网站与 AlphaXiv 均已公开。
「研究」频道最新
- lateinteraction：RLVR 就是 RL，奇怪的其实是 RLHF — lateinteraction · 2026-10-15
- 工具使用概念比想象更老：LaMDA 论文 2022 年就已顺带提及 — soldni · 2026-10-15
- 数学家撰文解读 OpenAI 372 定理冲击:数学前沿是自组织临界沙堆 — littmath · 2026-10-15
- RoPE 长文本失效有理论证明,免训练诊断工具提分最高 25% — zhaofeng_wu · 2026-10-15
- OpenAI 证明引连锁反应，Bhargava 证明原根正密度定理 — Singularitarian · 2026-10-15
- Applied Compute 推出 Spork：国际象棋解题率较 GRPO 提升 100% — ypatil125 · 2026-10-15