探究混合线性注意力 LLM 中的大规模激活现象
startlux-models · hf · 2026-08-14
本项研究深入分析了混合线性注意力大语言模型中的「大规模激活」现象。
研究发现，这些激活表现出由消除时机主导的预注意力尖峰和尖峰间平台特征。此外，当模型接近全注意力极限时，这种形态会得以恢复。
所属事件:研究揭示混合线性注意力大模型计算机制与大规模激活(2 条相关)→
「研究」频道最新
- DeepSeek 论文解析：LH 任务与 Harness 元微调 — EstablishmentOdd785 · 2026-08-15
- 斯坦福虚拟胚胎挑战赛首周吸引401名研究者，295支团队参与 — anshulkundaje · 2026-08-15
- TrackCraft3R：将视频扩散Transformer改造为稠密3D追踪器 — rsasaki0109 · 2026-08-15
- 浙大开源Polaris：AI全流程科研助手，从文献到论文自动推进 — 机器之心 · 2026-08-15
- Transformer 将主导至 2040 年？深度解析架构演进 — Concern-Excellent · 2026-08-15
- 视觉模型理解世界结构或优于 LLM — khademinori · 2026-08-15