AMD 开源 TokenSpeed-Kernel：一套可移植 API 跑通多芯片 LLM 推理内核
zhyncs42 · x · 2026-10-20
AMD 在 Triton Developer Conference 上展示（poster 环节）并开源了 TokenSpeed-Kernel，同时在会上做了三场分享：Triton Gluon 在 AMD MI450/MI455X 上的开箱性能、跨 GPU 的可移植高性能 LLM 推理内核、以及基于 Triton 编程 AMD Helios 机架级对称通信。
技术要点：
- TokenSpeed-Kernel 是独立的开源子系统，目标是解决 LLM 推理的后端复杂度：用分层的 API 与注册表系统，把高层 runtime 与底层硬件特定代码解耦。
- 接口平台无关：runtime（负责模型执行、调度元数据、页表、路由状态）调用同一套公共 API，AMD/NVIDIA 的高性能来自 API 背后可插拔的 kernel。
- 以 GPT-OSS 为实例：AMD GPT-OSS 120B 通过 Gluon kernel 达到顶级性能，证明分层设计不以牺牲后端性能为代价。
「Infra」频道最新
- 摩根士丹利:计入租赁后 2027 年 AI 资本开支达 1.58 万亿美元 — rohanpaul_ai · 2026-10-20
- PFN 携手 Tenstorrent 研发光电融合 xPU,获 NEDO 立项至 2031 年 — DavidBennett__ · 2026-10-20
- 铜通孔内嵌金刚石提升导热,碳基芯片散热新思路亮相 — jwt0625 · 2026-10-20
- Physis 发布世界基础模型公司并推出推理系统 PhysisServe，将并入 vLLM-Omni — vllm_project · 2026-10-20
- 巴塞罗那超算中心 AI Factory 加速器选出三家 AI Champions — NVIDIA Blog · 2026-10-20
- Luma 发布 MARBLE:打包多模态序列的精确序列并行,48 项测试胜 47 项 — mrjonfinger · 2026-10-20