16GB 显存跑 35B MoE:fork llama.cpp 实现 experts 扩容提速至 60 tok/s
Specific-Tax-6700 · reddit · 2026-10-05
作者将 llama.cpp server fork 成针对 Qwen3.6-35B-A3B 的专用推理引擎 AgrillaMoE,配合 Unsloth 量化,在租用的 16GB V100 上以 2-bit UD-Q2KXL 量化跑到约 57-60 tok/s,同时支持 OpenAI 和 Anthropic 两种 API,可直接接 Claude Code。
核心技术是“MoE expansion”:Qwen3.6-35B-A3B 每个 token 只激活 8 个路由专家,该补丁在运行时把专家预算提高(如 --moe-experts 20),用自适应阈值保留概率不小于 0.8×第 8 名的专家,作用于第 25-39 层——不训练、不改权重文件,只是让每个 token 查询更多 35B 参数。效果上 GPQA-Diamond 从原版 top-8 的 81.82% 提升到 84.34%(+2.5 分)。
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20