Strata 0.2.10 发布:Qwen3.8 在 8GB 显卡跑出 20+ tok/s,双卡提速近一倍
evilsocket · x · 2026-11-03
本地推理应用 Strata 发布 0.2.10 版本,核心变化是把 DFlash2 设为默认 draft 模型,并用 DFlash2 替换 MTP 做对比测试:
- 8GB 显卡可跑 128K 上下文:Qwen3.8 Flash Next 在 8GB 显卡上达到 20+ tokens/秒
- 双 NVIDIA 卡提速显著:2× RTX A6000 解码速度从 201 提升至 399 tok/s(+98%),2× RTX PRO 5000 提速 +70%,4 人并发 +85%
- 4× Radeon R9700:单人从 101.6 提至 180.9 tok/s,8 人并发再 +42%
- Strix Halo(AMD 迷你 PC)+12%,Apple M5 Max agent 场景 +10.3%,长文档等待时间减少 44%
- 单卡上 DFlash2 相比 MTP 普遍带来 4%12% 的解码提速
此外新版支持 Linux 上一个模型跨多卡、Mac 上跑 DeepSeek 图像模型等。所有引擎包与基准数据见 GitHub Release。
「Infra」频道最新
- Intel 称服务器 CPU 供不应求,Micron 点名 DRAM 是主要瓶颈 — tengyanAI · 2026-11-04
- DeepSeek 开源 DeepInfer 推理引擎:单卡每秒输出超 2.6 万 token — bycloud · 2026-11-04
- 马斯克:2026 年底 AI 芯片将多到没电可插,瓶颈是电力不是芯片 — elonmusk · 2026-11-04
- PROCS 快照压缩论文:恢复到首 token 延迟最高降 44.7% — charles_irl · 2026-11-04
- 大中华投资人悲观到极致:有人怀疑 2027 算力 capex 都难按计划 — terryyuezhuo · 2026-11-04
- Chroma Cloud 11月22日停止写入,Qdrant 顺势抢推迁移服务 — qdrant_engine · 2026-11-04