400M 总参仅 19M 激活:Aurora2 稀疏 MoE 发布聊天微调版
Tall_Abrocoma_3533 · reddit · 2026-11-23
作者发布 Aurora2-400M-A20M 的聊天微调版(SFT)。该模型是总参数 400M、每 token 仅激活 19M 的稀疏 MoE。
微调用 5B token(约一半对话、一半预训练式回放),教会模型遵循简单的 User:/Assistant: 格式并在回答后干净停止。聊天损失大幅下降而通用网页文本损失几乎不动,说明获得了对话能力且未丢失基座能力。
现状:能流畅处理简单请求,但会犯事实和算术错误,无安全对齐,定位为研究模型。模型卡附结果、提示格式和快速上手。
「模型」频道最新
- Kimi K3.1 Pro 跑出 1375 TPS,两周 143 轮研究 594 次实验 — hyperparticle · 2026-11-23
- 困惑度被指是能力「下限」指标而非万能预测器 — eliebakouch · 2026-11-23
- 27.5 MB 的 0.5-bit MoE:Aurora2-400M 极致低比特量化发布 — Tall_Abrocoma_3533 · 2026-11-23
- 爆料:OpenAI 内部模型困惑度已达 0.732,自动 AI 研究或于 2027 年 5 月解锁 — rickasaurus · 2026-11-23
- base model 困惑度指标开放共享的里程碑讨论 — eliebakouch · 2026-11-23
- 用户吐槽 ChatGPT 反复承诺「绝不违反品牌规范」令人抓狂 — chickefitz · 2026-11-23