DeepSeek V4.1 Flash 发布:769B MoE 原生视觉,1M 上下文 vLLM 零日支持
solyarisoftware · x · 2026-09-10
DeepSeek 官方发布 V4.1-Flash,新架构家族最小的模型,首次原生支持视觉理解,主打更快推理与更高吞吐,vLLM 零日适配并在 NVIDIA/AMD GPU 上验证。技术要点:
- 架构:769B 总参数、每 token 激活 15.5B,40 层、hidden size 5120,前置 32 层 ViT;1M 上下文。
- 两级稀疏注意力:每层 128 token 滑窗 + 压缩 KV 潜变量,由 V3.2-Exp 遗传的 indexer 打分保留最优 512;仅第 2/8/14/20 四层写压缩 KV,其余层共享缓存;压缩比从 V4 的 4/128 改为 1/2。
- Engram n-gram 记忆:第 1、14 层各持约 3.84 亿行×256 维的哈希表,按 4-gram 哈希查询、经学习门控写入残差流,两表合计 196.6B 参数(约 189 GiB),占检查点约四分之一——部署需专门规划容量。
- Hyper-Connections:残差流以 4 份并行副本传递,每个子层自行推导组合系数。
- 另有 DSpark 多 token 草稿头、MXFP4 专家等,V4 用户在 vLLM 上迁移成本低。
所属事件:DeepSeek 开源发布 V4.1 Flash，超旗舰低价引热议(57 条相关)→
「Infra」频道最新
- 黄仁勋柏林 GTC 收官:Vera Rubin 模块化工厂、Agent 工具箱与 RTX Spark 一起亮相 — nvidia · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27