DGX Spark 本地跑 262K 上下文:Athena 引擎实测千 tps 预填充
solyarisoftware · x · 2026-09-20
- 新推理引擎 Athena 面向 Nvidia GB10 系统(DGX Spark)发布,单台 128GB DGX Spark 可同时跑 DeepSeek V4 Flash 和 Qwen3.8 Flash-Next,262K 上下文。
- 实测数据:DeepSeek V4 Flash 8K 预填充 1,126 tps、256K 预填充 948 tps、256K 解码 19.4 tps;Qwen3.8 Flash-Next 预填充 1,071 tps、256K 解码 32.1 tps,8K→256K 预填充几乎不衰减。
- 特色功能:
- 长对话缓存到磁盘:14.1 万 token 会话恢复仅 2.1 秒,而重新处理需约 2 分 20 秒
- 投机解码
- OpenAI/Anthropic 兼容 API、工具调用
- Qwen 图像/文档输入、持久 agent 上下文
- Docker 安装、无需改客户端即可切换模型
「Infra」频道最新
- 三星明年 HBM4/HBM4E 产能翻倍,玻璃载板外协量提至 5 万片/月 — zephyr_z9 · 2026-09-20
- 开发者观察:模型自己跑 agent 优化了安全加固与全栈延迟 — rakyll · 2026-09-20
- 大型变压器交付排到 2029 年,AI 数据中心扩张被钢铁卡脖子 — sahilypatel · 2026-09-20
- 开发者实测 Bend 2:M4 Max 上并行内核比 NumPy 快 6.4 倍 — arthurcolle · 2026-09-20
- 中国 CXMT 宣布新内存芯片平台进入量产 — johnnyApplePRNG · 2026-09-20
- 爆 OpenAI 算力告急,传闻引发行业关注 — ns123abc · 2026-09-20