实测者称 DeepSeek 4.1 Flash 本地解码需约 200 tok/s 才有竞争力
antirez · x · 2026-10-21
liuliu 在重度使用相关模型后表示，终于理解了 antirez 此前的观点：DeepSeek 4.1 Flash（1017 版本）本地部署时的解码速度需要达到约 200 token/s 才具备竞争力。antirez 转发了这条推文。这给本地跑小模型的开发者一个具体的速度参考线——小模型的速度优势是相对特定档位而言的，达不到这个吞吐就谈不上实用。
「Infra」频道最新
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21
- Google 联合 Red Hat 发布 llm-d 1.0，K8s 原生分布式推理栈 — rseroter · 2026-10-21
- acs infra 上线免费 base model API，开放 Llama 3.1 8B/405B 供研究者使用 — amplifiedamp · 2026-10-21
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21