Google 新论文 FLARE：注意力机制降耗 600 倍，或助力端侧大模型
dejanseo · x · 2026-08-01
有网友结合 Google 最新发布的论文 FLARE 推测，未来的 Gemini 4 可能会采用这一架构来提升长文本处理效率。
FLARE 论文核心要点：
- 优化目标：旨在解决 Transformer 架构在移动设备或 IoT 等资源受限的端侧设备上，处理长上下文时的高算力与内存瓶颈。
- 技术突破：提出了一种结合 FIRE 位置编码与 ReLU 激活函数的新方法，替代传统的 Softmax 和 RoPE。
- 硬件实测数据：在定制硬件上，相比 Softmax，FLARE 实现了 6 倍的运行频率提升，硅片面积缩小至 1/57，能耗大幅降低至 1/600。
这一研究标志着在资源受限设备上高效部署强大 LLM 迈出了重要一步。
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16