同数据同 tokenizer 对照实验：DeepSeek V3.1 微调 CE 优于 Llama 全系

kalomaze · x · 2026-11-05

kalomaze 分享了一组分布外微调实验：任务是一种高度结构化的空间符号语言，并带音频条件。他使用相同的自定义 tokenizer（保证交叉熵 1:1 可比）、相同数据、batch size、学习率和 LoRA rank(16)，在多个骨干上做 LoRA 微调对比。

配图结果显示：DeepSeek V3.1 的 Eval CE 为 0.80396，优于 Llama 405B（0.81760）、Llama 70B（0.84229）和 Llama 8B（0.85536），四者训练 token 量基本一致（约 2.28 亿，其中 9098 万为监督 token）。作者的结论是：换更大的骨干做重训练收益可观，且 MoE 骨干在此任务上表现最好。