开源推理引擎 TokenSpeed 进展：已适配多款主流模型与硬件
zhyncs42 · x · 2026-08-06
开源 LLM 推理引擎 TokenSpeed 宣布达成重要里程碑。该项目自今年 3 月起从第一性原理出发构建，主打正确性、高性能与现代架构设计。
- 生态合作：已与 NVIDIA、AMD、Triton、LLVM、Qwen 等社区展开合作。
- 模型支持：在发布首日即支持 Inkling 和 Kimi K3 等模型。
- 架构特性：其调度器与内核抽象致力于走向简洁、易扩展，并面向多芯片未来铺路。
「Infra」频道最新
- 基于 Bittensor 搭建去中心化私人 AI 推理集群 — markjeffrey · 2026-08-06
- 马斯克:长期来看 99% 的算力将用于模型推理 — jamesdouma · 2026-08-06
- Hermes Agent 集成 Actual Computer：支持本地算力运行智能体 — markjeffrey · 2026-08-06
- Hot Chips 2026 大会开放斯坦福宿舍预订，学生可低至25美元/晚 — firstadopter · 2026-08-06
- Nvidia 平台 2027/28 年出货量预估 580 万/810 万，Rubin Ultra 近 600 万 — zephyr_z9 · 2026-08-06
- RTX 5090 跑 Minimax H3 爆显存？本地视频生成遭遇显存瓶颈 — Tepelstrikje · 2026-08-06