AA-AgentPerf 榜单新增 DeepSeek V4.1 Flash,GB300 每兆瓦吞吐达 2.61 亿 tokens/s
ArtificialAnlys · x · 2026-10-14
Artificial Analysis 将 DeepSeek V4.1 Flash 加入其智能体推理性能基准 AA-AgentPerf,覆盖 NVIDIA 与 AMD 多代硬件。
模型亮点
- Intelligence Index 得分 39,超过 V4 Pro 0813 的 36,但参数量约为其三分之一(552B 骨干、16B 激活 vs 1.6T、49B)
- 采用新因果编码器-解码器架构:输入 token 激活 8B、输出激活 16B;另有 196B Engram n-gram 记忆可放在主机内存;压缩稀疏注意力使 KV cache 约为旧 V4 Flash 的四分之一
- 部署更省:最少 2 卡即可运行,权重占用更少 GPU,小 KV cache 留出更多并发空间
硬件排名(每用户 100 tok/s)
- GB300 以约 2.61 亿 tokens/s/MW 居首,B300 约 2.2 亿、B200 约 1.93 亿、GB200 约 1.78 亿、MI355X 约 1.28 亿
- 单智能体输出速度上,Blackwell 全系与 MI355X 可达 600–670 tok/s,H100/H200 为 372–392 tok/s
- 相比 V4 Pro 0813,V4.1 Flash 每兆瓦吞吐提升 1.3 倍(GB300)至 6.2 倍(B200)
该基准通过重放真实智能体编码会话(含 prompt 缓存与工具调用延迟)衡量推理性能,榜单现收录 DeepSeek V4.1 Flash、V4 Pro 0813、Kimi K3 和 GLM-5.2/5.3 四个模型。
「Infra」频道最新
- VirusTotal 发布 macOS Mirage,针对 Apple Silicon 恶意软件动态分析 — jedisct1 · 2026-10-14
- ClickHouse 合并 IPCrypt 支持,可合规共享加密 IP 日志 — jedisct1 · 2026-10-14
- PS5LM 开源项目:越狱 PS5 原生跑 GGUF 模型 — mhdfaran · 2026-10-14
- 4-bit 量化保留 98-99% 质量,DeepSeek V4 Flash 并不适合本地部署 — gnukeith · 2026-10-14
- Fly.io Sprites 推出 Connector,可直接调用 Ollama Cloud — ollama · 2026-10-14
- 算账帖称 CoreWeave 明年前须偿 136 亿美元,营收仅百亿且无信贷渠道 — SumitGup · 2026-10-14