Lithos 引擎在 8 张 AMD MI355X 上跑出每用户 2116 tokens/秒
JiaZhihao · x · 2026-10-27
Lithos AI 发布号称 AMD GPU 上最快的推理引擎:在 8 张 AMD Instinct MI355X 上,DeepSeek V4.1 Flash 达到每用户 2116 tokens/秒,比同类开源引擎快最多 3.4 倍;Kimi K3 达 652 tokens/秒,快最多 2.5 倍,且是唯一保持完整模型精度不降质的引擎。
核心技术要点:
- 核心挑战是降低"协调税"——内核间与 GPU 间的等待时间
- 采用持久化 megakernel、执行重叠、通信嵌入计算等手段
- 利用 MI355X 的寄存器容量和指令级直接控制做硬件定制优化
- 技术报告覆盖解码速度、每 token 成本、最高 1M 上下文延迟及 roofline 分析
基准测试统一按 75% 推测接受率计分,部分对比配置使用降精度或更多 GPU。
所属事件:Lithos与AMD合作：8张MI355X跑DeepSeek达每用户2116 tokens/秒(2 条相关)→
「Infra」频道最新
- 开源工具 preowned 把 macOS 内置模型变成 OpenAI 兼容本地 API — pcuenq · 2026-10-28
- AMD MI355X 上跑出 2100+ tok/s，推理引擎协同设计削平协调税 — JiaZhihao · 2026-10-28
- 硅谷 Agent Infra 一半流量已非人类：Cloudflare 过半、Vercel 六成部署来自 Agent — FinanceYF5 · 2026-10-28
- 开源端侧 TTS 项目 Phonon 下载破 8 万，Rust 运行时不依赖 PyTorch — mattturck · 2026-10-28
- Manus 在 TiDB 上建 150 万个数据库，投资人称 agent infra 是躺赢生意 — FinanceYF5 · 2026-10-28
- Octen-WebGR 把 2 亿网页存进语言模型参数，导航搜索成本仅密集检索 1/40 显存 — _reachsumit · 2026-10-28