4070 Ti 跑 GPT-OSS 120B 达 21 tok/s：利用 MoE 缓存暴力魔改
JayB_Official · reddit · 2026-08-09
一位开发者利用 Codex 辅助，成功在仅有 12GB 显存的 RTX 4070 Ti 上本地运行了体积达 59GB 的 GPT-OSS 120B 模型，并实现了 21 tok/s 的生成速度。
核心实现思路：
- 利用 MoE 架构：将静态参数常驻内存，热门专家(Expert)放在 GPU，冷门专家放在 NVMe 固态硬盘。
- 动态缓存调度：按需将 SSD 中的专家流式加载到 GPU 缓冲区，并自适应地把高频使用的专家保留在 GPU 持久缓存中。
- 激进近似：在开启 16 个自适应热专家槽位并采用 top-1 近似模式后，速度飙升至 21.16 tok/s。
作者表示，这证明了通过“原始人式”的开源工具拼接，普通消费级硬件也能跑起超大参数模型。
「编程与Agent」频道最新
- 用 ChatGPT 会话经 Desktop Commander MCP 启动 Claude Code CLI — MidahBootyQuay · 2026-10-16
- 单操作员指挥多智能体能做的事已超乎想象 — natesiggard · 2026-10-16
- Claude Code 会话该跑多久？3 小时后上下文成灾的真实教训 — Additional-Buy-2562 · 2026-10-16
- Claude Code 隐藏行为：团队成员 agent 的回复不会送达 lead — Sauers_ · 2026-10-16
- Agent 写完完整回答却被 harness 丢弃：工具调用文本被当进度注释 — Stunning-Sherbet1853 · 2026-10-16
- Vibe coding 背锅太多：工程师厘清它与真实软件工程的边界 — bendee983 · 2026-10-16