Ornith 1.5 35B MTP 头部竟是随机初始化

Max-_-Power · reddit · 2026-08-21

有发现指出,HuggingFace 上发布的 Ornith-1.5-35B-A3B 模型目前配备的 MTP(Multi-Token Prediction)头部实际上从未经过训练,仅仅是随机初始化。这解释了为什么该模型在启用 MTP 时表现极慢。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →