作者复现实验：HISA 无 CSA 相位敏感问题，平均准确率高 4.6 个点
青稞AI · wechat · 2026-10-22
作者结合字节 Seed 团队的《Periodic Weak Spots》论文，系统解读其提出的 HISA（Hierarchical Indexing Sparse Attention）稀疏注意力设计，并复现实验对比 DSA、CSA、HISA 三种方案。
HISA 的核心是「先粗筛后精排」：indexer 先以块为单位快速选出候选 token，再在候选中精确挑出 top-k 做 token 级 attention，兼顾 indexer 加速与效果。作者复现发现 CSA 存在严重相位敏感性（四个相位准确率从 1.95% 到 75.78%，峰谷差 73.83%），而 block indexer + token attention 的 HISA 与 DSA 一样稳定（平均准确率 50.05% vs CSA 45.41%），定位出 block core-attention 才是相位敏感性的元凶。文中还梳理了 HISA 与层压缩（DeepSeek-V4.1-flash 的 reindex）、头压缩（MISA）、块压缩（混元 PIVOT）等方向的结合变体。
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23