MiniMax M3 内幕:实习生设计稀疏注意力,百万 token 上下文
AI Engineer · youtube · 2026-09-04
Hugging Face 联合创始人 Thomas Wolf 与 MiniMax RL 负责人 Olive Song 在 AI Engineer World's Fair 对谈,拆解 MiniMax M3 的设计:
- 为什么 agent 需要百万 token 上下文:短上下文撑不住长对话、工具返回与复杂环境;M3 结合功能性百万 token 窗口与编码、agentic、多模态能力,同一模型可理解文本、图像和视频。
- 实习生设计的稀疏注意力:M3 背后的稀疏注意力架构出自一位实习生之手。
- 从第一步就做原生多模态训练,以及训练出错时会发生什么。
- 开源文化与产品:MiniMax 产品服务约 3 亿用户,坚持持续开源;社区反馈帮助改进模型,内部 agent harness 反过来加速自家研究——M3 已在辅助团队构建 M3.1。
- 下一步:多智能体系统。
「模型」频道最新
- Mistral 发布 Voxtral 3 语音系列，转写模型冲上榜单第三 — ArtificialAnlys · 2026-10-21
- Perplexity 发布 Decider V1.2：登顶 Vals AI 决策模型榜 ClaimBench — bo_wangbo · 2026-10-21
- Omnii-1 基因组模型发布：AI 设计的噬菌体首次用于人体治疗 — JosephJacks_ · 2026-10-21
- Nous Portal 订阅曝光：未用完额度可滚存，最高档每月 220 美元 — alexcovo_eth · 2026-10-21
- 1.3B 开源文档解析模型 OXR 登顶三大榜：100 页解析仅 101 秒 — s_mohinii · 2026-10-21
- 从记忆存储理解 LLM：事实习得三阶段与幻觉同步涌现 — scott_linderman · 2026-10-21