新模型架构极简：SWA+无共享专家 MoE，与 DeepSeek 路线迥异
nrehiew_ · x · 2026-09-23
nrehiew 点评一份新模型技术报告：其架构出乎意料地简单保守，仅用滑动窗口注意力（SWA）和无共享专家的标准 MoE，与 DeepSeek 的复杂设计形成鲜明对比。他认为真正有意思的地方在数据与实验部分，架构细节反而被略过。
「研究」频道最新
- q-Neurons：用随机 q 导数激活函数提升神经网络性能 — FrnkNlsn · 2026-09-23
- 曝 OpenAI 将办期刊:内部模型多 agent 评审,冲击 ML 会议 — kfountou · 2026-09-23
- 耶鲁博士生开源顶会论文画图脚本，还能接入 Claude Code 当 Skill — burny_tech · 2026-09-23
- AI 在 ForecastBench 上追平超级预测员，10 月将再战 — burny_tech · 2026-09-23
- 几句 prompt 让 Opus 用 Lean 形式化验证 Agent SDK,产出 16 个修 bug PR — bcherny · 2026-09-23
- 数学家群体才是 AI 数学突破的幕后功臣 — tak3sh8 · 2026-09-23