架构圈内推演下一代 SOTA：线性分支 xHC、二次分支 MSAR+MHAR
teortaxesTex · x · 2026-10-21
在关于下一代模型架构的讨论中，@rationaleist 推测 SOTA 组合大概率是：线性注意力分支用 xHC 优于 oHC，二次分支用 MSAR + MHAR，并指出 xHC 与 MSAR 都采用多尺度卷积来做流去相关（stream decorrelation）。
属于注意力替代架构方向的圈内技术推演，信息较碎但方向值得关注。
「研究」频道最新
- OpenTac 上传 3D 模型 3 秒生成触觉传感器柔性电路,覆盖 93% 面积 — anand_bhattad · 2026-10-23
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23