2018 老笔记本跑 Qwen3.6-35B:自建 CUDA 12.9 加提示缓存,冷启动 9 分钟压到 76 秒
Uncovered-Myth · reddit · 2026-11-08
Reddit 用户在 2018 款 Acer Nitro 5(i5-8300H、GTX 1050 Ti 4GB、32GB 内存)上把 Qwen3.6-35B-A3B(Unsloth UD-Q4KXL GGUF)跑成了可用的 Hermes agent 后端,完整过程含大量可复用细节:
- 初始困境:Vulkan 后端 prompt 处理仅 22-32 tok/s,10k token 提示要 5-7 分钟;小于 8B 的模型又无法可靠执行工具调用
- 关键一招:CUDA 13 已放弃 Pascal 卡,作者用 clang 自建 CUDA 12.9(nvcc 解析不了新 GCC 头文件),prompt 处理从 30 左右跳到基准 200 tok/s、实际 167 tok/s
- 提示缓存:利用该模型 hybrid 层支持 prompt caching,每轮只处理约 46 个新 token;缓存存 SSD 后热重启从 85 秒降到 0.15 秒
- 其他调优:micro-batch 1024、pinned memory、q50 KV cache 腾出显存跑 64k 上下文、reasoning budget 512 防止思考 token 死循环
- 结果:12.7k token 的冷启动 agent 提示从 8-9 分钟降到约 76 秒,后续轮次 5-8 秒;生成仍只有约 12 tok/s。试过 MTP 投机解码但代价过高,放弃
对想在老旧硬件上跑 MoE 小激活模型的 agent 用户是份难得的踩坑实录。
「编程与Agent」频道最新
- 开发者观察：新一代 LLM 让人从过度约束转向留白让模型发挥 — jongranskog · 2026-11-09
- Proof of Agent 用 AI 互相评分,重复回复的机器人被降权零收益 — adamamcbride · 2026-11-09
- HF 研究员提问：Claude 手机端如何维持远程 SSH 连接 — NielsRogge · 2026-11-08
- DHH：AI Agent 让计算机回到开机即 BASIC 的创造年代 — mark_k · 2026-11-08
- 两位 Anthropic 工程师 24 分钟揭秘 Claude Code 隐藏用法 — hey_abusiddik · 2026-11-08
- GPT-6 Cyber 曝出 Firefox 80+ 高危漏洞，SlopCash 拍卖15分钟售罄 — 0xSammy · 2026-11-08