FreeSolo 稀疏注意力：线性复杂度实现零样本长度外推
Zekun Shi · hf · 2026-10-16
NUS、多伦多大学与 Sea AI Lab 的研究者发布 FreeSolo，一种原生稀疏注意力机制：
- 双分支设计：短程滑动窗口分支负责局部注意力，长程分支学习在 query 依赖选择前剪枝 prefix、挑选 keypoint cells 直接做 token 选择
- 线性复杂度：变体 FS-L 通过短 CPT（continued pretraining）学会剪枝；FS-B 用平衡树搜索（含 radix-sort，O(N log²N)）免训练实现
- 零样本长度外推：无需昂贵的长上下文微调即可扩展有效上下文长度，规避了线性模型固定状态容量与混合架构二次方成本的权衡
「Infra」频道最新
- 首个 TPUv7 Agent 基准成绩:vLLM 服务下每美元性能超 GB300 NVL72 达 1.42 倍 — vllm_project · 2026-10-16
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16
- AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存 — Aiden_Tech_Ai · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16
- 8 核 CPU 跑 Q4 量化模型，10 分钟单次生成太阳系交互演示 — IntrepidMindExplorer · 2026-10-16