Kimi Swarm 跑 6 小时，整理 23 个开源模型注意力设计
1ncehost · reddit · 2026-07-25
作者整理了一份 23 个近期开源模型 的架构综述，重点是它们的 attention 设计差异、具体创新和整体趋势。
为了完成这份资料，他让 Kimi K3 Swarm 跑了大约 6 小时，自动生成了一份便于自己学习的资源，内容包括：
- 各模型的架构说明
- 不同 attention 设计之间的对比
- 当前值得关注的架构趋势
该资料同时提供了 PDF 和 Markdown 两种版本，方便阅读和复用。
「研究」频道最新
- HarnessMM 论文：缓存已定决策,Agent Token 消耗降 88% 成功率反升 — omarsar0 · 2026-10-26
- 黑盒蒸馏五步法：从教师模型到学生模型的完整流程拆解 — chrisrohlf · 2026-10-26
- DetectorScope：用稀疏自编码器把黑盒 AI 文本检测器变得可审计 — _akhaliq · 2026-10-26
- OPST 论文：无需人工数据，模型仅凭自生成问答实现自我提升 — _akhaliq · 2026-10-26
- 上交大提出 VaM：用价值预测作记忆，机器人连续 4 小时自主作业成功率超 95% — chris_j_paxton · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26