通用数据高效预训练配方:分子提升 56 倍、DNA 与晶体 24 倍
madhavsinghal_ · x · 2026-11-19
industriaalist 团队与 qlabs 合作发布通用数据高效预训练算法,声称可跨领域普适使用:相对 SOTA 自回归配方,分子数据效率提升至 56 倍,DNA 与晶体结构各提升 24 倍;微调后模型可击败用数百倍数据预训练的模型。
作者论点:几乎所有领域的 scaling 都被数据卡脖子,数据效率因此是 AI 最重要的算法问题;这项工作可能根本改变数据受限 scaling 的思路。结果覆盖 DNA、分子和晶体结构等领域。
「研究」频道最新
- Meta 研究者致谢趣闻:称 agents 只负责鼓掌附和 — ziv_ravid · 2026-11-19
- NNterp 2.0 发布:统一语法在 NNsight 上跑几乎所有 LLM 的可解释性实验 — gsarti_ · 2026-11-19
- CONGA 编译器利用高斯块几何加速贝叶斯推断,NUTS 最低 ESS/秒提升 12.5 倍 — Víctor Gallego · 2026-11-19
- 研究者实测:GPT 6.2 Astra 零样本生成晶体结构能力大幅跃升 — xennygrimmato_ · 2026-11-19
- 世界动作模型 Dream-1 微调后得分暴涨 159%,多项任务反超前沿 LLM — paigeinsf · 2026-11-19
- AI 让「活论文」近乎零成本,但耐久性成隐忧 — _akpiper · 2026-11-19