Soumith 晒图：Inkling 2 基础模型代码损失超越 GLM-5.3 与 DeepSeek V4

soumithchintala · x · 2026-11-06

PyTorch 作者 Soumith Chintala 发帖称其团队的预训练基础模型「极具竞争力」，配图为内部代码基准(held-out 评测，bits per byte 越低越好)：Inkling 2 Small 预训练版达 0.2030、后训练版 0.2080,显著优于 GLM-5.3(0.2358)、DeepSeek V4 Pro Base(0.2335)、GLM-5.3 Flash(0.2327)、DeepSeek V4.1 Flash(0.2209)和 Kimi K3.1 Pro(0.2068)。对仅有后训练权重的模型，团队用预训练格式数据微调来「恢复」基座损失，并验证了该方法在已知基座的模型上基本可靠。