ML系统工程师转型实践
sharpeye_wnl · x · 2026-07-11
转发者分享了自己过去 6-8 个月向 **ML systems / AI infra** 方向转型时做的一些代表性工作： - 一个用于测试推理技术的 Python inference engine，在 RTX 4060 Ti 上配合 prefix caching 可达约 600 toks/s。 - 一篇用 cute DSL 在 Ada 上性能超过 cuBLAS 的技术文章。 - 一篇关于 NCCL 集体通信的详细解析。 - 一个讲解 `torch.compile` 工作原理与内部机制的博客系列。 - 持续整理自己的 ML systems 笔记与实验，并参与了 SGLang、llm-compressor（vLLM 相关）等开源项目。 他最后也在询问：接下来几个月应该重点提升哪些能力，目标是成为更强的 ML systems / inference engineer。