SwiLA 架构解读：J=1 时即退化为 DeltaNet
YouJiacheng · x · 2026-10-06
研究者 hyundongleee 介绍了新方法 SwiLA 的核心设计，You Jiacheng 转发点评称「每个 value 坐标各自选择一个」这一设定非常讲得通。
SwiLA 的两个关键选择：
- 函数类：J 个线性回归的混合，每个 value 坐标各自挑选其一，并带有可学习的先验；
- 优化器：对基于似然的损失做 online SGD，每个回归器按其「责任度」加权执行一步 delta-rule 更新。
一个重要推论：当 J=1 时，SwiLA 恰好退化为 DeltaNet。这为理解线性注意力/DeltaNet 类方法提供了一个统一的混合视角。
「研究」频道最新
- 用户模型评测为何难做:斯坦福研究者转向多用户图灵测试 — alexisjross · 2026-10-06
- 神经网络嵌入全部字体,Google Fonts 语料竟排出花朵结构 — Chroma-Crash · 2026-10-06
- Crawler Zoo 推出免费本地模型 agent 对战竞技场 — Time_Instruction_955 · 2026-10-06
- 8K 上下文小模型靠自我调用工具追平 GPT-5.4 百万级上下文 — xennygrimmato_ · 2026-10-06
- 研究者警告：User Sim Index 评测可被轻松刷到 95% — ericzelikman · 2026-10-06
- 用OpenAI Dots智能体集群免费打破47年数学纪录 — jaxchang · 2026-10-06