港中文提出块蒸馏框架，长上下文首token延迟64k下省约3.1秒
量子位 · wechat · 2026-10-20
香港中文大学林伟等团队提出SemanticSeg自动分段器与BlockDistillation训练框架，解决块注意力（Block attention）的两大卡点：文本怎么切、模型怎么训。论文已被NeurIPS 2026录取。
问题：块注意力把输入切成互不干扰的独立块，只让最后一块做全局聚合，使各块KV状态可跨prompt复用，但现有启发式切分易切断语义，免训练硬套块注意力会明显掉点，块微调则算力开销大且难泛化。
方法：
- 分段器以Qwen3-4B-Instruct为骨干接分类头，对候选切点输出二分类概率，用概率阈值+递归深度控制粒度。
- 块蒸馏用冻结的全注意力教师指导块注意力学生，每步训练耗时25859.9ms，比块微调的34941.1ms快约26%。
- 三个组件：块汇点token缓解块首注意力异常；块dropout让模型从更多块获得训练信号；token级损失加权聚焦敏感token。
结果：块微调在通用领域泛化失败（块注意力均分32.82 vs 全注意力40.40），块蒸馏则逼近甚至超过全注意力。首token时延8k从509.2ms降至451.3ms，64k从6971.3ms降至3821.6ms，省约3.1秒。消融显示四个组件缺一不可。
延伸：论文讨论与Loop Transformer的融合，认为Loop架构把瓶颈推到预填充阶段，块注意力的KV复用恰好对症，但此为展望而非实测。适用场景包括代码助手（缓存命中率可从约0.13升至约0.99）与多轮Agent工作流。
「Infra」频道最新
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23
- 架构师提醒：把专有芯片当战略依赖，先算清迁移成本 — DavidLinthicum · 2026-10-23