HySparse 2 架构被称「DeepSeek 味」,SWA 成稀疏注意力标配
eliebakouch · x · 2026-10-17
研究者 eliebakouch 在回复中点评：HySparse 2 的设计「very deepseek coded」（很有 DeepSeek 风格），但两者都在 YOCO 部分使用 SWA（滑动窗口注意力）层；他补充 SWA 几乎出现在所有新的稀疏注意力机制中。另一条线索提到小米新模型也采用了 SWA，引发对其下一代模型架构方向的猜测。
「研究」频道最新
- 开发者构建「前数字」AI 数学系统，用关系与张力训练图案 — debreuil · 2026-10-17
- Epoch AI 千局杀戮尖塔实测：模型胜率超过人类作者但仍每幕犯错 — Jsevillamol · 2026-10-17
- 纳德拉：微软研究用机器学习将天气预报提前到2-6周 — satyanadella · 2026-10-17
- 新研究：稀疏自编码器特征仅部分可组合，需交互项才能准确预测 — OpenSAE · 2026-10-17
- 研究者：期刊桌面拒稿率高，会议人人可获实审是重大优势 — avt_im · 2026-10-17
- MIT 新作 Contact-UAN:6.5 分钟数据让人形机器人落地更稳 — kevin_zakka · 2026-10-17