微软研究院：训练 PLM 丢弃孤儿序列可能是错误策略
KevinKaichuang · x · 2026-08-18
微软研究院与布朗大学团队的 bioRxiv 预印本《Protein language models and the long tail of functional diversity》指出：训练蛋白质语言模型时，惯例会丢弃无法与其他序列聚类的宏基因组 singletons，认为它们是伪迹；但 singletons 占 GigaRef 数据集（33.4 亿条序列）近 43%，且许多其实有高同源性、Pfam 结构域密度更高，代表功能多样性的长尾——恰是对模型训练最有价值的部分。作者建议重新审视这一数据清洗惯例。
所属事件:研究称训练蛋白质语言模型不应丢弃孤儿蛋白(3 条相关)→
「研究」频道最新
- SpliceAI2 剪接变异基准发布,九项评估性能大幅提升 — anshulkundaje · 2026-10-16
- GRPO 后训练会令分布坍缩,长程 Agent 时代反成隐患 — zsakib_ · 2026-10-16
- RFdiffusion3 登 Science:蛋白酶与金属水解酶设计大幅改进 — anshulkundaje · 2026-10-16
- ORL 让扩散语言模型重写速度-智能 Pareto 前沿,吞吐量提升约 6.9 倍 — james_y_zou · 2026-10-16
- CoT 理论论文被赞“解释了 Transformer 为何胜出” — willcb · 2026-10-16
- 陶哲轩警告 AGI 竞赛变味:OpenAI 论文轰炸冲垮初级研究项目 — Hesamation · 2026-10-16