2-bit DeepSeek V4.1 Flash 在双 V100 上跑编码 agent:12 小时实测
a4mula · reddit · 2026-11-13
一位 Reddit 用户用 Claude Sonnet 5.5 当「导师」，让本地部署的 DeepSeek V4.1 Flash(1017 版,MIT 协议)接管其单机 AI 实验室的系统工程师席位,进行了 12 小时无人值守的真实工作评估——不是跑 benchmark,而是干真活。
技术栈要点
- 量化:ISTA-DASLab GSQ-RCO IQ2XXS,仅 2.00 bits/权重,6 分片 GGUF;上下文 131k。
- 推理引擎 Strata(MIT):面向 MoE 大模型,专家权重流式驻留内存而非全塞进显存;专家共约 132 GB,而两张卡只有 64 GB 显存,靠热专家预填充策略提速。
- 硬件:2x Tesla V100 32GB(Volta 无 BF16/FlashAttention 2/NVLink)+ 双 Xeon + 125 GB RAM,零源码补丁,纯配置实现。
- 实测速度:解码约 24 tok/s,预填约 127 tok/s,首 token 约 9 秒;投机草稿模型反而拖慢(17.3 vs 23.8 tok/s),因为专家放不进显存。
能力评估:DS 能像称职的初级工程师一样完成沙盒校验器、数据库迁移及检查器等交付物,提交信息规范、按流程记录证据;但速度是大硬伤——每条消息约 17 秒,网页抓取约 5 分钟,上下文压缩约 7 分钟。作者最大的收获反而是审视自身系统:很多 Sonnet 顺手硬闯过去的小问题,暴露了原系统的隐性债务。
「编程与Agent」频道最新
- 开发者开源首个 Power BI MCP 服务器,补齐自定义视觉件短板 — Constant_Plane4937 · 2026-11-13
- 6 个 LLM 记忆画旧金山:最好的街道得分仅 0.32,接近随机 — Evening_Hawk_7470 · 2026-11-13
- AI 采用的 9、10 级：编排之上是用竞争 agent 群做多元宇宙模拟 — danshipper · 2026-11-13
- 「Idea 盆地」：智能体为何困在旧思路里，各模型探索模式大不同 — AlexGDimakis · 2026-11-13
- 开源录屏工具 Cap 登陆 iOS：边录边传，停手即得分享链接 — JosephJacks_ · 2026-11-13
- 9B 模型加思维链无效？开发者 6 个 LoRA 实测蒸馏推理困境 — SignificantZebra5883 · 2026-11-13