论文揭示引导式蛋白质设计的失控:oracle 打满分类出不可折叠的甘氨酸均聚物
rishabh16_ · x · 2026-10-12
arXiv 论文《Off-Manifold Collapse in Guided Protein Language Models》发现,推理时引导蛋白质语言模型(如 ESM-2)优化某一性质(如可溶性)时,存在一种此前未在 RL 之外被系统观察到的失效模式——类似 reward hacking。
关键发现
- 为提高可溶性而强力引导 ESM-2 时,oracle 可给出 0.99 的"几乎肯定可溶"评分,但模型实际输出的是低复杂度的甘氨酸均聚物,ESMFold 根本无法折叠(pLDDT 仅 0.35)。
- 失效有明确特征:天然蛋白激活位于 ESM-2 表示空间的"典型性薄壳"上,随引导增强,激活向与随机氨基酸输入在统计上无法区分的区域坍缩,序列同时退化为低复杂度。
- 被优化的性质预测器看不见这种坍缩——对可溶性而言甚至会主动奖励它;但结构与组分指标能暴露失败。
提出方法
作者不修改生成器,而是在输出端检测:引入天然蛋白激活上的廉价密度先验,只保留在此先验下仍"典型"的候选,称为 Mahalanobis filtering。该免训练的后处理步骤在相同引导强度下,以近乎零成本同时提升性质得分与结构合理性。
「研究」频道最新
- 众包用 E8 几何降大数乘法常数 κ,再度撞墙求几何专家 — iskander · 2026-10-12
- HF 工程师详解决策模型新玩法:把分类决策变成答案 token — LysandreJik · 2026-10-12
- Sandberg：论文该被当成待打补丁的软件项目来对待 — anderssandberg · 2026-10-12
- Anders Sandberg：AI 审稿将倒逼科研进入超严格时代 — anderssandberg · 2026-10-12
- Claude Opus 5.5 max 能力指数 167.3,贴着 AI Futures 预测曲线上行 — SamuelAlbanie · 2026-10-12
- 独立研究者单块 GH200 预训练 21B MoE：MFU 从 21% 提到 50% — Prestigious-Taste-63 · 2026-10-12