蛋白质生成模型 scaling 之争：RITA 作者回看 2022 年前的算力-损失曲线
IgorCarron · x · 2026-10-20
LightOn 联合创始人 Igor Carron 在回应一篇新蛋白质 scaling 研究时，翻出团队 2022 年（Chinchilla 论文之前）的早期实验：RITA——一组最大 12 亿参数、在 UniRef-100 超 2.8 亿条蛋白质序列上训练的自回归生成模型，是蛋白质领域首个系统研究自回归 transformer 规模效应的工作。
- 评估了下一氨基酸预测、零样本适应度预测和酶功能预测，均随规模扩大受益
- 配图显示 LM 损失随算力（PF-days）按约 2.0·C^(-0.074) 幂律下降
- Carron 指出当时未评估数据规模问题，生物数据侧最关键的是数据剪枝
- 新研究作者回应：其差异在于覆盖全部实验的 scaling 验证（不限于蛋白质），且通用 LLM 有时表现优于专用蛋白质语言模型
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23