FasterTransformer 作者 fork TokenSpeed 准备提 PR,LLM 推理栈三年换天
zhyncs42 · x · 2026-09-07
LMDeploy 相关开发者 zhyncs42 感慨：FasterTransformer 的创造者 fork 了 TokenSpeed 并准备提交 PR。三年前还没有 vLLM 和 LMDeploy，大家都在读 Orca 论文、试图在 FasterTransformer 上实现 continuous batching。「感觉像另一个时代，世界变化真快。」一条浓缩 LLM 推理开源生态三年变迁的行业轶事。
「公司和人」频道最新
- 第40届学习理论大会 COLT2027 定于东京,2027年6月底举办 — FrnkNlsn · 2026-09-07
- Robotico Live 节目上线：对话人形机器人创始人与工程师 — xmercury_one · 2026-09-07
- 卫报刊文：扎克伯格是时候从 Meta 辞职了 — domhudson · 2026-09-07
- 曝 GPT 6 Blender 能力靠时薪 5 美元的非洲外包标注员训练 — Firm-Ad-2446 · 2026-09-07
- a16z 合伙人：先发布让你难堪的点子，才能找到好点子 — victor_explore · 2026-09-07
- ChatGPT 四年后：澳洲教育界激辩 AI 时代该教学生什么 — TobyWalsh · 2026-09-07