美团开源 LongCat-Flash-Lite-Sparse 模型登顶 Hugging Face

美团技术团队在 Hugging Face 开源了 LongCat-Flash-Lite-Sparse 模型并登顶热门趋势。该模型采用超稀疏 MoE 架构,总参数量约 69B 但激活参数仅 3B。通过引入 LongCat 稀疏注意力(LSA)并将约 30B 的 n-gram 查找表卸载至内存,该模型实现了在 24GB 显存下处理高达 100 万 tokens 超长上下文的突破。

2026-07-31 ~ 2026-08-02 · 4 条相关