kalomaze 实测:同一 OOD 微调任务上 MoE 与稠密模型对比

kalomaze · x · 2026-11-05

知名独立研究者 kalomaze 设计了一个分布外(OOD)微调实验:任务是高度结构化的空间符号语言并带音频条件,对比大 MoE 模型与稠密模型。为保证公平,两组使用完全相同的自定义 tokenizer(因此 cross entropy 可 1:1 直接比较)、相同数据、batch size、学习率和 LoRA rank(16)。帖子附有结果图表,并 @ 了 teortaxesTex 讨论。

所属事件:独立研究者实测：DeepSeek V3.1 微调损失优于 Llama 全系(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →