曝 DeepSeek V4.1 Flash:552B 总参数、新稀疏注意力与原生视觉
donglixp · x · 2026-09-10
- 爆料称 DeepSeek V4.1 Flash 总参数 552B,每 token 激活 8/16B,使用全新架构,训练数据 45T tokens。
- 架构亮点:编码器/解码器结构下输入与输出 token 使用不同的激活参数量、engram 机制、新的稀疏注意力、新的 mHC、原生视觉能力。
- 评测成绩据称很高(超越 K2/K3),效率出色,技术报告质量被称赞。
- 技术引用了 YOCo(You Only Cache Once)decoder-decoder 架构论文(arXiv:2405.05254),用于 KV cache 压缩:self-decoder 编码全局 KV cache,cross-decoder 通过交叉注意力复用,大幅降低显存占用并加速 prefill。
- 注意:此为第三方转述,尚无官方确认。
所属事件:DeepSeek V4.1/Flash 爆料:552B 非对称架构对标 GPT-5.6 Sol(21 条相关)→
「模型」频道最新
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察:Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发,博主泼冷水:本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级:单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26