用潜空间 Indexer 蒸馏实现稀疏注意力

技术讨论介绍了一种带 Indexer 的稀疏注意力实现方案：在块级别上于压缩潜空间中使用 Indexer，训练时要求其预测完整的注意力分数，即将稠密注意力的分数蒸馏到 Indexer 中，从而获得块稀疏注意力掩码。该方法利用了块稀疏掩码的优势，兼顾了长上下文处理的效率与质量。

2026-08-27 ~ 2026-08-28 · 2 条相关