Qwen3.8-Flash-Next 跑通 256K 上下文:DDR4+Tesla T4 实测 16 tok/s
BusTiny207 · reddit · 2026-09-04
Reddit 用户在一台二手 Dell R740(2×Xeon Gold 6230、384GB DDR4、单张 Tesla T4 16GB)上,用 ikllama.cpp 跑 Unsloth 的 Qwen3.8-Flash-Next UD-Q4KXL(180B 总参数/6B 激活,111GB),实现 256K 上下文本地推理。
关键配置与结果:
- 512 个 expert 全部驻留主机内存(-cmoe),非 expert 权重放 T4(4606 MiB)
- 将 -ctv 和 -ictk 从默认 f16 量化到 q80、-ub 从 2048 降到 1024,是 256K 上下文能塞进 13GB 显存的关键
- 256K 上下文下 prompt 处理 159.6 t/s,生成 16-17.6 t/s;-ub 1024 略降 prompt 速度但不影响生成;128K 扩到 256K 仅损失约 2.5% 生成速度
- 实际表现:完成了一次代码重构,答对了几个偏门的 Nim 编程题,输出比 Opus 更简洁
帖子给出完整启动命令与踩坑细节,对想在旧服务器上低成本跑大上下文 MoE 模型的人参考价值很高。
「编程与Agent」频道最新
- Luke Wroblewski 做折叠屏智能体管理 App：协调 agent 已成全天候工作 — LukeW · 2026-10-21
- Agentic SDLC：工程师从写代码者转型为智能体编排者 — Pavan_Belagatti · 2026-10-21
- OpenAI dots 接入 Merge for Workforce：员工权限即 agent 权限 — shensi · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Agent 全盘+辅助功能权限失控，企业急需任务级访问控制 — leveragedupside · 2026-10-21
- Acellera 用无监督 AI 科学家虚拟实验室跑真实分子发现项目 — gdefabritiis · 2026-10-21