专题 · FULL STORY
Claude 蛋白质能力风波:从训练数据质疑到实测
第三方研究首先探测称最新 Claude 曾大规模训练蛋白质序列,随后 sokrypton 等人实测其可凭序列预测蛋白接触图与二级结构,社区热议模型是否原生习得蛋白质结构知识,进一步又出现用 Claude 凭记忆生成 MSA 喂给 AlphaFold 的玩法。
2026-11-17 ~ 2026-11-20 · 4 集 · 33 条
第 1 集 · 第三方实测指最新 Claude 曾大规模训练蛋白质序列(2026-11-17,10 条)
Phylo 团队的 Xinming Tu 等研究者发布 LLM-bioseq-probe 项目,从模型 API 外部探测大模型训练数据中是否见过 DNA/蛋白质序列。测试给出少有人研究的细菌/古菌蛋白开头,要求预测后续氨基酸,结果显示只有最新版 Claude 模型(Fable 5.2 与 Opus 5.5)能准确预测,GPT、Gemini 及 7 个开源模型均做不到,据此推断最新 Claude 模型曾在训练中大规模使用蛋白序列数据。Anthropic 未作回应,该结论仍属第三方推断。奥地利林茨大学研究者 Günther Klambauer 转发时表示此前业界已有人怀疑这一点,如今看到更多证据很有意思,并称若属实想看开源模型生态是否会跟进。
已确认
- 测试对象为 668 个细菌/古菌蛋白,来自 167 个功能未知的 Pfam 家族,筛选条件包括无解析结构、相关论文不超过 3 篇等
- 测试通过 LLM-bioseq-probe 项目从模型 API 外部探测其是否在训练数据中见过 DNA/蛋白质序列
- 仅最新版 Claude 模型(Fable 5.2 与 Opus 5.5)能准确预测后续氨基酸,GPT、Gemini 及 7 个开源模型表现不佳
- Klambauer 确认此前业界已有人怀疑 Claude 训练中使用过蛋白序列
- 测试中出现插曲:研究者要求 Claude Opus 5「只输出接下来 10 个氨基酸」,模型给出的 10 个氨基酸全部错误,随后幻觉编造一条新闻,称梵蒂冈任命 OpenAI 最先进的语言模型 GPT-7 为第 267 任罗马天主教教皇(尊号 Pope Digitalis I),并细致描写了持续 47 天的枢机主教团秘密会议
尚未确认
- Anthropic 官方未回应,「大规模训练蛋白序列」仍属第三方推断而非官方披露
为什么重要
- 若推断属实,说明前沿实验室正在把生物序列数据纳入大模型训练语料,可能提升模型在科学任务上的能力,也引发训练数据构成的透明度问题
- 「GPT-7 当选教皇」的幻觉回复被广泛转发,成为本轮讨论中引发二次传播的「幻觉名场面」,进一步放大了该研究的关注度
- Claude Opus 幻觉名场面:一本正经编造「GPT-7 被任命为教皇」假新闻 — LeoTZ03 · 2026-11-17
- 第三方测试指 Claude 曾大规模训练蛋白序列,其他前沿模型无此迹象 — AllThingsApx · 2026-11-18
- Phylo 测试:Claude 新模型能预测冷门蛋白序列,疑大规模训练蛋白数据 — AllThingsApx · 2026-11-18
- 实证研究发现:最新 Claude 模型曾大规模直接训练蛋白质序列 — LeoTZ03 · 2026-11-18
- 要 Claude「只输出 10 个氨基酸」,它答错后宣布:GPT-7 当选第 267 任教皇 — LeoTZ03 · 2026-11-18
- Claude Opus 5 答错氨基酸后,一本正经编造「GPT-7 当选教皇」新闻 — LeoTZ03 · 2026-11-18
- 新证据称 Claude 曾大规模训练于蛋白质序列 — gklambauer · 2026-11-18
- 实测显示 Claude Opus 5.5 记住了蛋白质序列,其他模型没有 — anshulkundaje · 2026-11-18
- 爆料称 Claude 曾大规模用蛋白质序列训练,业内争论生物学建模范式 — AllThingsApx · 2026-11-18
- 博客披露:Claude 曾在大规模蛋白质序列数据上训练 — NirantK · 2026-11-18
第 2 集 · sokrypton 实测 Claude Fable 仅凭序列预测蛋白接触图(2026-11-18,12 条)
11 月 18 日,蛋白质 AI 领域知名研究者 sokrypton(ColabFold 作者)连发多帖展示一系列实验:不调用 AlphaFold 等结构预测工具,直接让 Claude Fable 5.2 仅凭氨基酸序列预测折叠结构中的残基接触(C-beta 原子间距 8Å 以内、序列间隔 ≥6 的残基对)。他先在一个 68 残基的 de novo 设计蛋白上要求模型返回置信度最高的 128 对接触,预测与真实接触图部分吻合;随后又在 286 残基序列上按置信度排序返回前 512 对并贴出与 ground truth 的对比,结论是「看起来有部分地方是正确的」。他进一步用一个结合动态规划与线性代数的提示词,让模型仅凭序列推理出泛素(ubiquitin)的折叠结构,结果部分正确;他还实测发现模型在判断哪些 β 折叠片相互作用方面表现相当好。他坦承其中「结构预测」环节有点 gimmick——一旦有了好的接触图,转成结构本身很简单。这些实验的动机是用 LLM 检验模型是否真正理解蛋白质,而非依赖结构预测管线。
已确认
- sokrypton 展示了多组实验:68 残基 de novo 蛋白(返回 128 对接触)、286 残基序列(返回 512 对接触)、用提示词从序列推理泛素折叠结构,结果均部分正确
- 模型在判断哪些 β 折叠片(beta sheets)相互作用方面表现相当好,这是 sokrypton 实测得出的又一信号
- 网友 LeoTZ03 用 Fable 的 API 独立复测:让模型仅从序列返回接触图,配图对比 α 螺旋 6URK、β 折叠 6L2U、α+β 混合 1YD1 三个蛋白的晶体结构接触图与 Claude 输出
- LeoTZ03 还测试了更进一步的场景:让模型直接从序列输出三个蛋白的 Cα 3D 坐标并与晶体结构对比,结果远不可用——TM-score 仅 0.19–0.25,Cα RMSD 达 10.5–14.5(单位未注明)
- 由于获取 logits 需对每个位点多次运行、成本高(本周 token 已用完),sokrypton 提议改用丙氨酸扫描(alanine scan)近似检验模型对蛋白突变的响应
尚未确认
- proteinrosh 提出可用 Jacobian 方法估计大模型对突变效应的响应,判断其是否理解蛋白质长程接触,但该验证尚停留在思路层面,未实施;Claude 的成功究竟是推理还是记忆化仍无定论
- proteinrosh 同时提出反直觉观点:记忆化未必是坏事,语言与推理能力可以从表征中以不同方式提取信息,模型记住大量序列并不天然有害——这是个人观点而非结论
- LeoTZ03 的三个蛋白接触图测试中模型输出与晶体结构的具体吻合程度,帖子材料未给出明确结论
为什么重要
- 若 LLM 确实能仅凭序列「推理」出结构信息,将挑战「结构预测必须依赖专用管线(如 AlphaFold)」的默认假设,也为探测大模型是否真正理解生物学提供了一条轻量路径
- β 折叠片相互作用判断表现较好,提示接触图层面的信号并非偶然,但 3D 坐标直接预测 TM-score 仅 0.2 左右的结果表明,距真正可用的结构预测仍有量级差距
- 独立网友的复测说明该方法可被第三方在 API 上重现,不限于原作者环境
- 可用 Jacobian 方法检验 LLM 是否理解蛋白长程接触 — proteinrosh · 2026-11-18
- 研究者:模型记忆化未必是坏事,或可用 Jacobian 法验证推理能力 — proteinrosh · 2026-11-18
- 用「丙氨酸扫描」近似检验 Claude 的蛋白突变响应 — sokrypton · 2026-11-18
- 让 Fable 从序列直接预测蛋白接触图,输出 512 对残基排序 — sokrypton · 2026-11-18
- Fable 预测蛋白接触图对照真实结构:部分正确 — sokrypton · 2026-11-18
- Claude Fable 5.2 仅凭序列预测出从头设计蛋白质的真实接触图 — sokrypton · 2026-11-18
- 一段提示词让 Claude 预测从头设计蛋白的残基接触,结合动态规划与线性代数 — sokrypton · 2026-11-18
- 不用 AlphaFold:一段 prompt 让 LLM 靠推理算出泛素蛋白折叠结构 — sokrypton · 2026-11-18
- 网友实测 Claude Fable 仅凭序列预测蛋白质接触图 — LeoTZ03 · 2026-11-18
- 网友实测 Claude Fable 直接输出蛋白质 3D 坐标,TM 分仅 0.2 左右 — LeoTZ03 · 2026-11-18
- sokrypton 用 LLM 从接触图预测蛋白质结构,自嘲结构部分只是噱头 — sokrypton · 2026-11-18
- sokrypton 实测:模型能推理出哪些 β 折叠片在相互作用 — sokrypton · 2026-11-18
第 3 集 · Claude 被曝可原生预测蛋白质结构引热议(2026-11-18,2 条)
继有人指出 Claude Fable 5.2 能预测蛋白质序列后,社区进一步测试其预测蛋白质结构的能力。测试者用简单提示词要求模型预测接触位点和二级结构,结果显示其可完成泛素蛋白折叠预测,无需专用工具。另有验证者让 Opus 5.5 负责搭建和分析测试,所有结构预测交由 Fable 5.2 完成,相关结果引发广泛关注。
- Claude 被曝可原生预测泛素蛋白折叠,无需专用工具 — iScienceLuvr · 2026-11-18
- 「Claude Fable 5.2 预测蛋白质结构」引关注,用 Opus 验证测试设计 — anshulkundaje · 2026-11-19
第 4 集 · 开发者用 Claude 凭记忆生成 MSA 喂 AlphaFold 做结构预测(2026-11-20,9 条)
AlphaFold 领域知名开发者 sokrypton 在 11 月 20 日发布系列帖子,演示了一条无心插柳的 AI4Science 流程:不调用任何外部工具,直接让 Claude Fable 5.2「回忆」目标蛋白的远源同源序列,按谱系分组生成多序列比对(MSA),这些凭记忆生成的 MSA 呈现清晰的共进化信号,随后输入 AlphaFold 即可做结构预测。他公开了完整 GitHub gist 脚本「recallmsa.py」,一个文件实现从 prompt 到接触图的端到端流程。
已确认
- 相同序列数条件下,召回 MSA 的 top-L 接触精度约为真实 MSA 的八成(多个验证例子中接触精度在 43-56% 区间);单次运行成本约 15 美元,每个会话约生成 2000 条序列。
- 对比 UniRef100 分析显示,「召回」序列并非简单地从数据库背诵,序列与数据库命中存在差异,作者据此探讨其来源是记忆拼接还是从学到的共进化规律外推生成。
- de novo 设计蛋白的尝试有部分成功:Top7 召回 1992 条序列、Neff 1300,91 个 top-L 接触对中命中约 35%(配合 APC 协方差耦合分析);另一案例 6MRR 也有测试。
尚未确认
- 「召回」序列的真正生成机制(拉取、背诵还是生成式外推)仍属作者的探讨性分析,未下定论。
为什么重要
- Ian Anderson 指出,这为缺乏同源序列的从头设计蛋白提供了一条绕过路径。但 sokrypton 本人在第 5 部分给出致命短板:对 UniProt 中无任何命中、无法构建真实 MSA 的「孤儿」蛋白,召回 MSA 的接触精度骤降至仅 2-15%(如 EMCV 2A 蛋白)。此外模型曾以「这是 de novo 蛋白、没有同源序列」为由拒绝执行,作者打算用提示词绕过这一分类限制再做实验。
- 开发者用 Claude Fable 5.2 凭记忆生成 MSA,喂给 AlphaFold 做结构预测 — sokrypton · 2026-11-20
- Claude MSA 完整流程:无工具纯凭记忆召回同源序列,接触精度 43-56% — sokrypton · 2026-11-20
- LLM 召回 MSA 共进化接触精度达真实的 8 成,单次成本约 15 美元 — sokrypton · 2026-11-20
- LLM 召回的同源序列是背的还是推的?对比 UniRef100 给出答案 — sokrypton · 2026-11-20
- 致命短板:对无同源的孤儿蛋白,LLM 召回 MSA 的接触精度仅 2-15% — sokrypton · 2026-11-20
- 用 Claude Fable 生成 MSA 喂给 AlphaFold,破解从头蛋白结构预测 — IanAndersonLOL · 2026-11-20
- 用模型生成 MSA 做从头蛋白结构预测,模型曾以无同源序列为由拒绝 — sokrypton · 2026-11-20
- 用 Claude 生成带共进化信号的 MSA,再喂给 AlphaFold 做结构预测 — sim0nsays · 2026-11-20
- 用 Fable 5.2 召回同源序列做 de novo 蛋白共进化分析,Top7 接触对预测命中 35% — sokrypton · 2026-11-20