独立研究者实测：DeepSeek V3.1 微调损失优于 Llama 全系

知名独立研究者 kalomaze 设计了一组分布外（OOD）微调对照实验：任务是一种高度结构化、带音频条件的空间符号语言，对比大型 MoE 模型与稠密模型。为保证公平，两组使用完全相同的自定义 tokenizer、相同数据和 batch 设置，使交叉熵 1:1 可比。结果显示 DeepSeek V3.1 的微调交叉熵表现优于 Llama 全系模型，为 MoE 与稠密架构之争提供了新数据点。

2026-11-05 ~ 2026-11-05 · 2 条相关

• 同数据同 tokenizer 对照实验：DeepSeek V3.1 微调 CE 优于 Llama 全系 — kalomaze · 2026-11-05
• kalomaze 实测:同一 OOD 微调任务上 MoE 与稠密模型对比 — kalomaze · 2026-11-05