Phylo 测试:Claude 新模型能预测冷门蛋白序列,疑大规模训练蛋白数据
AllThingsApx · x · 2026-11-18
Phylo 团队的 Xinming Tu 发布测试,结论是最新 Claude 模型在训练中大规模使用了蛋白序列数据。
方法:对 668 个细菌/古菌蛋白(来自 167 个功能未知 Pfam 家族,无解析结构、论文不超 3 篇、UniProt 无近亲)做「下一个氨基酸预测」,并对比打乱顺序后的版本——打乱保留字母、破坏顺序,两者准确率之差即衡量模型对序列本身的记忆。
结果:
- Claude Fable 5.2 的真实-打乱准确率差达 +45.1 个百分点,Claude Opus 5.5 为 +27.4,而 OpenAI(GPT-6.1 Sol、GPT-6 Astra)、Google Gemini 及各家开源权重模型均在 ±3 以内,无此迹象
- Fable 5.2 跑赢所有受测开源蛋白语言模型(ProGen3-3B +32.5、ProtGPT3-10B +27.7),Opus 5.5 与 ProtGPT3-10B 相当
- 与蛋白语言模型一致:蛋白家族越大表现越好,且在完全没有论文的家族中也有效,说明学的是序列库而非文献
作者区分了两种可能来源(UniProt 等序列库 vs 关于蛋白的文献),著名蛋白无法区分二者,因此专测无人书写的蛋白。文章与评测代码均已开源。
所属事件:Phylo 测试称 Claude 疑似大规模训练蛋白序列数据(2 条相关)→
「模型」频道最新
- 「GPT-6.2 今天发布」传言四起,mark_k 查证称暂无实锤 — mark_k · 2026-11-18
- 商汤 SenseNova-Loop-9B 上榜 trending,主打循环 Transformer 多模态 — sensenova · 2026-11-18
- 第三方测试指 Claude 曾大规模训练蛋白序列,其他前沿模型无此迹象 — AllThingsApx · 2026-11-18
- 12 月 ChatGPT 与 Codex 共享额度将至,Pro 用户盘算去留 — F1_average_enjoyer · 2026-11-18
- Terminal-Bench 4.0 榜单:Claude Sonnet 5.5 以 70.6% 居首 — NielsRogge · 2026-11-18
- rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率+检查点平均 — rasbt · 2026-11-18