24GB 显存党实测:Strata 量化 MoE 让 Qwen Flash 取代 27B 稠密模型
soyalemujica · reddit · 2026-10-03
一位 Reddit 用户分享在 7900XTX(24GB 显存)+ 64GB DDR5 的 Windows 11 本地配置上,用 Strata 跑 Qwen Flash 的体验:即使 250K 上下文也能跑到约 60 token/秒。
作者称其表现比此前的 27B 稠密模型更聪明、更精准,指令遵循和执行计划更可靠,前后端任务的测试都能胜任;q8 精度下可容纳更多上下文,且不再担心稠密模型 OOM。
其他细节:预留 6GB 显存给系统、Windows 11 下速度与 Linux 相当,可边跑 AI 边游戏。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19