16GB 老显卡跑 Qwen3.8 Coder,Strata 极致量化显神通
evilsocket · x · 2026-10-01
安全研究者 evilsocket 演示用 Strata 在一张 16GB 显存的 NVIDIA GPU 上运行 IQ1M 极致量化版的 qwen3.8-flash-next-coder。这种激进量化让消费级显卡也能本地跑大参数编码模型,是端侧部署玩家的实用玩法。
所属事件:开源推理引擎 Strata:游戏 PC 本地跑 1250 亿参数大模型(7 条相关)→
「编程与Agent」频道最新
- ChatGPT 商业 agent 实机首秀,agent builder 同步亮相 — gaganghotra_ · 2026-11-16
- Scenario 免费上线 AI 创作者学院:17 门课 90 课时覆盖图视音 3D — smtabatabaie · 2026-11-16
- 开源 AI 工程课自带 Agent 导师:装进 Claude Code 就能一对一授课 — ghumare64 · 2026-11-16
- 让 Claude 把自己装进你的 artifact,用户用量算各自的 — TawohAwa · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16
- Claude 已从聊天框长成全家桶,一文看懂各板块怎么用 — alex_verem · 2026-11-16