上海 AI Lab OpenESM：能量引导模型可作可扩展基座学习器

Shanghai-AI-Laboratory · hf · 2026-10-28

上海人工智能实验室提出能量引导模型（Energy-Steered Models, ESM），把能量导向的隐空间优化与 token 生成整合进单一架构：先对 token 全景优化隐状态，再用精炼后的隐状态做生成，使有利 token 对应更低能量值。

团队在三个大规模语料上预训练 ESM，并在 26 个基准上评估其 scaling 行为，称 ESM 能有效扩展并在多样任务上改进基础语言建模，挑战了能量模型只适合特定领域任务的传统认知。代码与模型已开源（GitHub 与 Hugging Face）。