南大等提出连续扩散语言模型 AURORA-LM，10亿参数全程基于昇腾 NPU 训练
机器之心 · wechat · 2026-08-08
南京大学联合多所高校提出连续扩散语言模型 AURORA-LM，探索在连续语义空间中建模语言。该模型在文本生成任务上表现优异，且全部实验均在昇腾 NPU 上完成，成功扩展至约 10 亿参数规模。
核心设计与技术突破：
- 两阶段建模：第一阶段训练自编码器，将文本映射为高容量、可解码的连续 latent 序列；第二阶段利用“分块因果扩散模型”学习该序列的生成分布。
- 高容量 latent 优化：通过适度收窄带噪输入维度（bottleneck）和提高高噪声状态训练概率，大幅提升了文本生成质量。
- 自轨迹一致性：为抑制少步去噪时的误差累积，模型引入一致性损失，约束相邻去噪状态的预测保持一致，在少步生成时改善尤为显著。
实验结果：
- 在 130M 规模下，AURORA-LM 的自由生成和条件摘要任务指标均超越自回归与其他扩散模型。
- 扩展至 1B 参数（AURORA-LM-L）后，在九项语言基准任务上的平均得分达到 32.6，全面超越同等或更大规模的连续语言模型。
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16