TokenSpeed 三层三种语言:C++ 保正确、Rust 提性能、Python 粘合
zhyncs42 · x · 2026-10-26
TokenSpeed 作者解释该项目为何各层用不同语言:
- Scheduler 用 C++:动机不是性能而是正确性——调度器围绕 KV cache 状态转移构建,需跨 PD、L2 cache 等无损回滚,C++ RAII 让资源与状态管理显式直观;团队小而稳定,多数用户不碰这层。
- Engine 用 Rust:最近刚用 Rust 重写。作者称「不是 Rust 选择了时代,而是时代选择了 Rust」——LLM 编码 agent 的兴起让 Rust 与 agent 协作顺畅,在不牺牲生产级安全与性能(关键路径 TTFT 显著优于原 Python 实现)的同时保留接近 Python 的迭代速度。
- Modeling 用 Python:性能不敏感,作胶水语言保留灵活性与生产力。
结论:不同层约束不同,语言选型取决于要解决的问题。
所属事件:开源推理引擎 TokenSpeed 走红，作者详解多层语言选型(2 条相关)→
「编程与Agent」频道最新
- 工具调用成功≠决策正确：agent 可靠性该怎么评估 — djgoel123 · 2026-10-26
- OpenClaw 发布 v2026.10.7：61 个 PR、54 位贡献者 — heyneighbor · 2026-10-26
- IBM 开源 MCP 网关 ContextForge:统一接入 MCP/A2A/REST API — tristanbob · 2026-10-26
- 四款 RAG 重排器实测：小 Cross-Encoder 反而把正确答案挤出 Top 5 — Affectionate_Slip654 · 2026-10-26
- Opus 5.5 编排 Sonnet 子代理，high 档反而比 Opus medium 更贵 — Odd-Shift-640 · 2026-10-26
- 10 个给 AI Agent 加聊天界面的开源项目，星数一览 — victor_explore · 2026-10-26