Han Xiao开源DeepSeek去审查版部署：4张RTX 6000跑出200 tps
burny_tech · x · 2026-10-26
Jina AI 创始人肖涵（@hxiao）发布了 DeepSeek-V4.1-Flash-1017-abliterated（去审查版）在 GCP 上的部署方案：4 张 NVIDIA RTX PRO 6000、FP8 量化、LiL vLLM + DSpark，单流 166–211 tok/s，8 并发下 722 tok/s，支持 1M 上下文、视觉与工具调用，还包含抢占式实例救援机制。GitHub 仓库提供完整的 GCP 部署脚本、配置与补丁，可直接照做。作者自嘲"还没有做任何 hillclimb 调优"。
「Infra」频道最新
- 印着 OpenAI Logo 的千兆网络交换机 PCB 实物曝光 — mckbrando · 2026-10-26
- DeepSeek 开源 DeepInfer 后尚无编码 agent 厂商跟进接入 — pingzawa162 · 2026-10-26
- 美光十天两大动作：后里第二座先进封装厂投产，剑指HBM — tengyanAI · 2026-10-26
- 64 卡 NVL72 集群多余的 8 张卡去哪了？答案：待机到故障为止 — _xjdr · 2026-10-26
- Jalapeño 芯片本质是脉动阵列+HBM，自研推理芯片没那么神秘 — ai · 2026-10-26
- B200 实测：torch.compile 关一个开关，同一计算提速 4.53 倍 — cfregly · 2026-10-26