技术讨论：在潜空间使用索引器实现稀疏注意力
SkyLi0n · x · 2026-08-28
SkyLi0n 讨论了利用块稀疏注意力掩码的优势，并分享了在压缩潜空间中使用块级索引器来实现稀疏注意力的方法。训练过程中，索引器被用来预测完整的注意力分数，具体做法包括将稠密注意力分数蒸馏到索引器中，并使用 KL 散度损失来优化索引器与完整注意力教师模型的一致性。
所属事件:用潜空间 Indexer 蒸馏实现稀疏注意力(2 条相关)→
「研究」频道最新
- RLVR 微调致解空间坍缩，加入 replay 缓冲可保多样性并提升 pass@8 — manoelribeiro · 2026-10-15
- ModeBench 揭示 RLVR 让 LLM 只会一种解法，Re:Max 训练法可保解法多样性 — manoelribeiro · 2026-10-15
- NYU 团队推出 SCOOP：用策略协调循环让 LLM 学会真正探索 — jaseweston · 2026-10-15
- Google WeatherNext 助 NHC 预报飓风 Isaias，提前 3 天锁定路径误差 60 公里内 — PeterWBattaglia · 2026-10-15
- MIT 用简单局部突触规则让神经网络自建学习机制 — ChuckDBrooks · 2026-10-15
- 中科大提出 VASPO:自蒸馏结合特权价值估计改进 PPO 推理 — ustc-community · 2026-10-15