IQuest-Q1 开源:320B MoE 面向 agentic 编码,vLLM 首日支持
vllm_project · x · 2026-09-29
IQuest 研究团队发布并开源 IQuest-Q1:总参数 320B 的 MoE 模型,每 token 仅激活 15B,256 个专家中每次激活 8 个,上下文长度达 524,288(约 52 万 token),专为代码、软件工程与复杂 agentic 任务打造,技术报告、HuggingFace 与 GitHub 权重同步放出。
vLLM 宣布 day-0 支持,且完全基于现有组件实现:
- 用混合 KV cache 协调器支持「3 层滑窗 + 1 层全注意力」的层结构,88 层中只有 25 层的缓存随上下文增长;
- 在 attention 后端加入 sinks 路径,实现模型要求的 sink attention;
- 用 EAGLE 投机解码配合概率化草稿采样,支撑递归式 MTP 头的草稿生成。
所属事件:至知创新开源 320B MoE 模型 IQuest-Q1(11 条相关)→
「编程与Agent」频道最新
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16