单卡跑出 2200 prefill,消费级本地推理速度一周涨近十倍
oran_ge · x · 2026-10-03
作者 orange 转引 @ivanalogcom 的实测:一周前双 5070ti 本地跑 Qwen Flash 只能到 200 prefill/10 decode,如今借助 Strata 架构与自制 PR,单卡即达 2200/67,读写速度均提升近十倍——这一水平此前只有 5090、DGX Spark、M3 Ultra 能达到,且多数模型 API 也达不到。
- 4090/5090 同样大幅受益,5090 流式处理速度已逼近 RTX 6000(显存仍是瓶颈)
- 消费级硬件因此涨价,连冷门的英特尔 32G B70 显卡都卖断货
- 性能提升源于 DeepSeek/Qwen Flash 的模型设计(把智力拆分为注意力、专家、查表)与 Strata 的流水线化架构,让不同层级的能力存放在不同速度的存储中按需抵达
作者判断:本地部署十倍提速对想拥有本地智力的人是重大利好,模型层设计可能正收敛到当前硬件下的最优解;而对靠出售平庸模型算力的 API 生意而言,这可能是催命符。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19