Qwen3.8-27B 在 16GB 显存上跑 109K 上下文,连续 9 小时自主做出可玩游戏
Antique_Grass_73 · reddit · 2026-11-13
作者在单张 RTX 5060 Ti 16GB 上对 Qwen3.8-27B 做本地 agentic 负载优化,核心技巧是 ASCII 词表剪枝:把词表从 248,320 剪到 129,006 token(保留非 ASCII 的字节回退),省出的显存刚好塞下一个 Q2K 的 DFlash 草稿模型,与 Unsloth Q3KXL 主模型搭配。
速度数据(Q40 KV cache)
- 全词表 + MTP2:最高约 104K 上下文,50K 提示下解码 34.90 tok/s,90K 下 28.24 tok/s。
- 全词表 + DFlash4:约 80K 上下文,50K 下 41.73 tok/s。
- ASCII 剪枝词表 + 剪枝 DFlash4:约 109K 上下文,50K 下 39.92 tok/s、90K 下 37.30 tok/s——比全词表 MTP2 快约 32%,上下文还更长。
压力测试
作者用 π 搭了个最小长时程游戏开发 harness:给模型任务提示、参考图和时间预算,让它用 playwright 和游戏测试契约自行构建、测试、迭代并记录 agent 轨迹。Qwen3.8-27B 拿到极简的 2D 潜入游戏说明、几张参考图和 9 小时预算,最终产出一个含三关、精灵和音效的可玩浏览器游戏(截图显示成品叫 NEON BREACH)。
Harness、游戏产出与 agent 轨迹、llama.cpp 配置均已开源,计划用于横向对比不同模型和量化方案。
「编程与Agent」频道最新
- 开源 CLI 把上千端点的 OpenAPI 规范压缩成 25 个工具的 MCP 服务器 — Worried-Barracuda845 · 2026-11-13
- 工程师观点:LLM 让形式化验证像 Rust 一样被用起来 — arpit_bhayani · 2026-11-13
- 开源工具 whats-in-my-claude 本地可视化 .claude 目录 — Srqi · 2026-11-13
- AuralKit 3.0 发布：本地视频音轨转写保留时间戳 — rudrank · 2026-11-13
- 免费 link-in-bio 工具 Delulu Bio 接入 MCP，动嘴即可管理主页 — delulu_intern · 2026-11-13
- 开发者自制 Gemini Spark 视频导演 skill，一键把口播变成动态图形动画 — mijozakinho_2 · 2026-11-13