回应 Sam Altman:玩家用游戏显卡让 DeepSeek V4.1 会话启动快 20 倍
HearMeOut-13 · reddit · 2026-11-02
针对 Sam Altman「家家囤 DRAM 很浪费」的说法,一位开发者晒出本地方案:RX 9070 XT 16GB + 64GB DDR4,离线跑 DeepSeek V4.1 Flash 1M 上下文(专家分布到 VRAM/RAM/SSD)。痛点是 agent 每次新会话重读约 37K token 系统提示,首 token 要等 100 秒。他给 Strata 引擎打了两个补丁:
- KV splice:新 prompt 与历史会话对齐,把过期行从缓存状态中整行剪除(记录 RoPE gap),只读变化行。新会话首 token 从 100s 降到 5s,复用 36,949 token 只读 513 个,快 20 倍。
- Resident-only routing:prompt 读取阶段只路由到已驻留 VRAM/RAM 的专家(原本 1.2K token 的 prompt 要从 SSD 流式读 58GB),fresh prompt 从 22.8s/58GB 降到 8.2s/1.3GB。
硬核编码测试 13 题保持 12/13;仅支持 HIP(gfx1201),splice 是近似方案尚无正式评测;补丁默认开启,可用环境变量关闭。附构建命令与上游 issue,征求 CUDA 实测数据以便合并。
所属事件:开发者用游戏显卡本地跑 DeepSeek V4.1,会话启动提速 20 倍(3 条相关)→
「编程与Agent」频道最新
- 创业者断言：协作型 agent 的服务成本问题亟待解决 — hyhieu226 · 2026-11-02
- 开源 agent 用「可验证劳动」替代 USDC 支付 x402 付费 API 调用 — AlmostSneakers · 2026-11-02
- 4天1150个PR:开发者用Claude+TLA+形式化验证写出整款游戏 — banteg · 2026-11-02
- 给智能家居开关接入 agent，敲摩斯电码就能对话 — davidcrawshaw · 2026-11-02
- Claude 连续工作 12 小时独立完成网站迁移，作者急砍每月 3000 美元成本 — tristanbob · 2026-11-02
- Behind the Craft 新季阵容：OpenAI 产品 VP、Claude 设计师等四位嘉宾 — petergyang · 2026-11-02