腾讯发布 FlashPrefill V2:长上下文推理加速方案

tencent · hf · 2026-08-21

腾讯发布了 FlashPrefill V2,这是一种针对长上下文 LLM 服务的块稀疏预填充注意力机制。通过均值校正的稀疏注意力、优化的 GPU 算子和框架集成,该方案在密集基线上实现了大幅加速,提升了长文本处理效率。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →