上海团队开源 NCP 架构：8.9B 模型以概念预测取代逐词生成

上海团队发表论文提出 NCP（Next Concept Prediction）架构，并开源 8.9B 参数的 NCP-ArchPreview 预览模型。该架构是隐空间语言模型，不只预测下一个 token，还学习预测跨越多个 token 的离散概念，再将概念反馈给 token 生成，以此取代当前主流 LLM 的逐词生成范式。实验显示模型仅用 51% 的训练量即可追平 7B 模型的预训练损失。

2026-09-13 ~ 2026-09-14 · 2 条相关