UC Berkeley 团队开源 FLAT，线性注意力 TPU 训练内核提速最高 3 倍
SonglinYang4 · x · 2026-10-14
UC Berkeley、Stanford、Princeton 等机构的研究者（含 Percy Liang、Ion Stoica、Tri Dao）发布 FLAT: Flash Linear Attention on TPUs，这是首批面向 TPU 的线性注意力开源训练内核。
- 生产级 LLM 已广泛采用线性注意力变体：Kimi K3 使用 Kimi Delta Attention，Qwen 3.5 将 Gated DeltaNet 层与全注意力交错；线性注意力用固定大小的循环状态替代随上下文增长的 KV-cache，生成单 token 的时间与内存为常数，训练成本降为 O(T)。
- GPU 侧已有 FLA、Mamba CUDA 内核，但 TPU 此前只有面向推理的工作，缺乏开源训练内核。
- FLAT 提供 Linear Attention、Mamba-2、Gated DeltaNet（GLA 相关）的 Pallas 实现，并在 TPU v6e（Trillium）上完成基准测试；同时发布了线性注意力层前置的短因果卷积的快速 Pallas 内核。
- 计入前向与反向，单块 TPU v6e 上最高比 H100 基准快 3 倍。博客与代码均已开源，作者称 Delta-rule 内核（Gated DeltaNet、KDA）是下一步。
「Infra」频道最新
- 1.7B 手机本地模型实现无 API 联网搜索，全程端侧完成 — K4anan · 2026-10-14
- ggerganov 为 llama.cpp 新增 spec-draft 选项优化显存占用 — jacek2023 · 2026-10-14
- Galaxy S21 本地跑双小模型,51 分钟自主完成亚马逊购物任务 — Mean-Standard7390 · 2026-10-14
- 聚合多家需求拼大单，小团队也能拿到大批量推理折扣价 — rohanpaul_ai · 2026-10-14
- 300 欧二手内存换 80GB:为跑 MoE 值不值？ — quadra-lab · 2026-10-14
- llama.cpp 被内置进 Google Android AICore,Gemini Nano 底层曝光 — ggerganov · 2026-10-14