RTX 4090 跑 Qwen3.8 量化版:三个参数让解码提速 45%
sisyphus-cycle · reddit · 2026-10-26
- 硬件与模型:单张 RTX 4090(24GB)+ 48GB 内存 + Ryzen 3900X,Windows 下用 Strata 推理引擎 v0.43 本地跑 Qwen3.8-Flash-Next 的 IQ3S 量化版,上下文 200k。
- 调参方法:让 Qwen 模型自己调优——联网搜索并派子 agent 读取 Strata 源码,作者还自写了一个 pi 子 agent 扩展,在每次子 agent 调用前用 Strata 机制保存 KV 状态以便即时恢复;累计计算上下文达约 45 万 token,避免压缩。
- 关键结果:近乎网格搜索后,解码速度从 97 提到 142 tok/s(+45%),仅靠三个参数:--adapt-async 1、--kv-resident 20480、STRATAADAPTLAG=2。
- 实测成绩:145k 上下文全量重处理,prefill 2076 PP,平均 95-105 tok/s,峰值 145 tok/s。
- 负优化警告:--expert-cache 单位是 MiB 不是 slot(填满显卡 −72%)、--ple-io ram(48GB 上 −90%)、--no-prefill-borrow(−46%)。
- 遗留瓶颈:Windows 不做 CUDA 内存 pin,每次 host→GPU 专家权重拷贝都由 CPU 驱动。
- 作者附上完整 JSON 配置供复现。
「编程与Agent」频道最新
- 昆虫群研究者的三招：如何防御失控的 AI agent 蜂群 — seanmcdonaldxyz · 2026-10-26
- 用 Wikimedia Commons 免费给 Claude 供 1.49 亿+素材做视频剪辑 — alexcovo_eth · 2026-10-26
- 投资人 observed：三年手写代码的创始团队已被全 agent 团队甩开 — inductionheads · 2026-10-26
- Surehand MCP：让 AI 每次 After Effects 编辑都带像素级验证 — ronron555 · 2026-10-26
- 网友调侃：这种需求丢给 Codex 五分钟能出十个变体 — var_epsilon · 2026-10-26
- 8GB 显存全本地跑通「书籍转有声书视频」管线，作者开源原型 — top115 · 2026-10-26