muP 与短卷积扩展线索
teortaxesTex · x · 2026-07-16
这条转发在说，某个模型/项目在基准上表现不突出，可能不是因为能力不行，而是开发时间主要花在把 **muP** 缩放关系调对了。 引用内容补充了更多技术判断：从代码看确实用了 muP，而且这是目前已知把 **短卷积（short convs）** 按 Canon-layer 风格继续大规模扩展的一次尝试。
teortaxesTex · x · 2026-07-16
这条转发在说，某个模型/项目在基准上表现不突出，可能不是因为能力不行，而是开发时间主要花在把 **muP** 缩放关系调对了。 引用内容补充了更多技术判断：从代码看确实用了 muP，而且这是目前已知把 **短卷积（short convs）** 按 Canon-layer 风格继续大规模扩展的一次尝试。