推测新模型 TTFT 极低因采用小模型蒸馏方案

teortaxesTex · x · 2026-08-21

针对某模型（疑似中国隐形模型）极低的 TTFT（首字生成时间），作者推测原因并非单纯优化，而是采用了更小或简化的模型架构（如稀疏注意力、更少专家或早退机制）。该模型可能由 744B 参数的大模型蒸馏而来。尽管 ZDR（零延迟请求）指标对于此类模型较为反常，但作者认为制作者已处于技术前沿。