律师用 8 块 2018 年 V100 跑 DeepSeek Flash:524K 上下文、100+ tok/s 全本地
TumbleweedNew6515 · reddit · 2026-11-13
一位自称「GPU 太多的律师」发布第五代本地部署方案:在 8 块 V100-SXM2-32GB 上以接近 NVFP4 的精度运行 DeepSeek Flash 1017,524K 上下文,单请求解码 118.9 tok/s,双并发约 159 tok/s,完全本地运行其法律工作流。
核心做法(Volta Max uPLIft)
- 每个路由专家保留 2-bit 记录在卡上,再按法律 harness 实际激活频率,把最常用的专家逐个升级到 NVFP4 权重,直到显存占满
- 默认配置下 15,360 个路由专家中有 5,949 个为精确 NVFP4,78-85% 的解码路由落在这些专家上
- 对比 NVIDIA 完整 NVFP4:95.1% 的 token 下一 token 一致(2-bit 版为 92.2%),KL 散度 0.079 vs 0.196,选择题答案差异 1.6% vs 15.4%
- 解码时所有被路由专家都在显存内,不经 PCIe 读取
作者还拥有 2 台 DGX Spark 可跑 3-4 个并发 DeepSeek agent(1M 上下文),以及另外 8 块 V100 和 512GB ECC RAM 服务器用于扩展。他表示新模型(Opus 5.5、Fable 5.2)已能自动完成配置、自定义 Volta 内核和按激活频率的专家 requant,首次让纯本地方案真正替代了原本为 Claude 搭建的 frontier 级法律 harness。完整优化代码与实测数据已开源在 GitHub。
「编程与Agent」频道最新
- MIT×Meta 论文 ReHarness:让 Agent 用后续结果回头修订旧记忆 — rohanpaul_ai · 2026-11-13
- Mnemos 入驻 Nous 插件市场:给 Claude Code/Codex 等配跨平台持久记忆 — RileyRalmuto · 2026-11-13
- AI 游戏平台实测数据:玩家厌恶加载屏,pop-in 版点击转化高得多 — TAbrodi · 2026-11-13
- 可视化贴图吐槽:每天与 agent 互相挫败的节奏曲线 — dbreunig · 2026-11-13
- 斯坦福CS329Z讲座：上下文塞得越满，agent检索准确率越差 — stanfordnlp · 2026-11-13
- 斯坦福新开 CS329Z 课程：把 AI Agent 当工程系统来教 — stanfordnlp · 2026-11-13