上海AI实验室发布8.9B「下一概念预测」基座模型,收敛提速1.95倍
jiqizhixin · x · 2026-09-30
上海人工智能实验室与上海交大 LUMIA 实验室发布 NCP-ArchPreview,号称全球首个 8.9B 离散潜空间基座模型,登上 HuggingFace Daily Papers 榜首。
核心思路:
- 突破纯 Next-Token Prediction 的单一范式,提出「下一概念预测」(NCP)预训练任务:在离散潜空间预测高层概念,而非逐个原始 token。
- 类比图像生成从像素空间到潜空间的转变,呼应 JEPA 式"预测高层表征优于重建底层细节"的洞见。
- 在 Dolmo-3 的 5.73T 开源语料上训练。
关键数据:仅用 51.3% 的 token 预算即达到全量训练模型的最终预训练损失,等效收敛速度提升 1.95 倍,最终损失比官方基线低 0.091。
「模型」频道最新
- 博主称 Anthropic 给 Claude 用户送上惊喜更新 — eyishazyer · 2026-09-30
- GPT 6.1 Sol 发布缓存降价 50%,Anthropic 却因安全扣住 Sonnet 5.5 — oran_ge · 2026-09-30
- OpenRouter 数据简报:token 用量爆发,开源模型支出半年涨 10 倍 — AccBalanced · 2026-09-30
- 用 GPT-6 Astra 等模型轻松生成 Minecraft 生物 — Angaisb_ · 2026-09-30
- Sentdex:OpenAI 砍 $200 订阅额度只是开始,API 价才是真实价 — Sentdex · 2026-09-30
- 新论文提出 DepthBench:残差连接设计决定模型有效计算深度上限 — teortaxesTex · 2026-09-30