IQuest-Q1 架构细节:524K 上下文、256 专家、混合注意力
jacek2023 · reddit · 2026-09-29
IQuest-Q1(MoE,320B 总参 / 15B 激活)的详细规格在 Reddit 被整理公开:
- 88 层 Transformer,隐藏维度 3072,Q/KV 注意力头 48/8,头维度 128
- 混合注意力:3 层 SWA + 1 层全注意力,滑动窗口 4096,部分 RoPE 32 维
- 专家 256 个、每 token 激活 8 个
- MTP(多 token 预测):训练用 2 个独立层,推理用 1 层递归展开 8 次,MTP 滑窗 512
- 上下文长度 524,288
所属事件:至知创新开源 320B MoE 模型 IQuest-Q1(11 条相关)→
「模型」频道最新
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16