400M 总参仅 19M 激活:Aurora2 稀疏 MoE 发布聊天微调版

Tall_Abrocoma_3533 · reddit · 2026-11-23

作者发布 Aurora2-400M-A20M 的聊天微调版(SFT)。该模型是总参数 400M、每 token 仅激活 19M 的稀疏 MoE。

微调用 5B token(约一半对话、一半预训练式回放),教会模型遵循简单的 User:/Assistant: 格式并在回答后干净停止。聊天损失大幅下降而通用网页文本损失几乎不动,说明获得了对话能力且未丢失基座能力。

现状:能流畅处理简单请求,但会犯事实和算术错误,无安全对齐,定位为研究模型。模型卡附结果、提示格式和快速上手。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →