注意力内核遇上真实模型：可解释性与系统研究的交集
QuentinAnthon15 · x · 2026-11-06
作者在发布新的注意力内核研究时感谢合作者：Ganesh Bikshandi 为 BF16 与 HipKittens 打下基础，Praneeth Medepalli 和 Stephen Ebert 的量化工作提供了理解并解决数值问题的构件。作者提到，很多复杂性来自在真实模型与真实输入分布上测试新内核，逐层排查问题层带来大量洞见——可解释性研究与系统研究之间 surprisingly 地有大量重叠。
「Infra」频道最新
- LMSYS XM-Sparse：KV 卸载解码提速，每 token 时间最多降 63.6% — xiaosun86 · 2026-11-06
- Polymarket 民调:56% 选民称 AI 与数据中心影响中期选举投票 — KyeGomezB · 2026-11-06
- MoE 预训练 All-to-All 通信占训练步 60%,新方法削减 58% 分发行 — QuentinAnthon15 · 2026-11-06
- 得州数据中心法案真相:已获批项目照建,新项目只需更严消费者保护 — VraserX · 2026-11-06
- 为承载上千 AI agent,GitHub 重构 Git 存储架构 — arpit_bhayani · 2026-11-06
- OpenAI 自研 Pando 应对 Codex 并发：Git 推送延迟降 5 倍日传 1PB — sven_ai · 2026-11-06