IQuest-Q1 架构细节：524K 上下文、256 专家、混合注意力
jacek2023 · reddit · 2026-09-29
IQuest-Q1（MoE，320B 总参 / 15B 激活）的详细规格在 Reddit 被整理公开：
- 88 层 Transformer，隐藏维度 3072，Q/KV 注意力头 48/8，头维度 128
- 混合注意力：3 层 SWA + 1 层全注意力，滑动窗口 4096，部分 RoPE 32 维
- 专家 256 个、每 token 激活 8 个
- MTP（多 token 预测）：训练用 2 个独立层，推理用 1 层递归展开 8 次，MTP 滑窗 512
- 上下文长度 524,288
所属事件:IQuest 开源 320B MoE 模型 Q1，主打智能体编码(4 条相关)→
「模型」频道最新
- 实测称 Claude 免费版 Sonnet 5.5 疑不如付费版，差距达数倍 — chaseleantj · 2026-09-29
- 让三个 GPT 模型画「骑自行车的鹈鹕」,全都把车驮在鸟背上 — jade_jade_jade_jade · 2026-09-29
- 实测发现各 LLM 搜索均会过滤'最佳 SEO 专家'类自我推销 — lilyraynyc · 2026-09-29
- 改一个环境变量引发事故:GLM 5.3 不再允许关闭 thinking — sweetcake_1530 · 2026-09-29
- H 公司发布 Holo4 通用电脑操作模型,可跨桌面安卓与 MCP 调工具 — RemiCadene · 2026-09-29
- Bindu Reddy 吐槽 Muse Spark 是过度刷榜的 Claude 蒸馏,不如 DeepSeek Flash — bindureddy · 2026-09-29