Yoav Goldberg 谈推理工程师真功夫:KV 缓存、通信、负载均衡才算入门

yoavgo · x · 2026-09-25

在一段希伯来语的讨论中,AI 研究者 Yoav Goldberg 回应他人对「inference engineering」的描述,认为对方的概括仍像一个优秀 ML engineer 的职责范围,与真正的 inference engineering 是两回事。他指出对方列出的内容在该层面还比较表面:没有谈到 KV cache,没有涉及机器间通信(无论是调度层面、通信协议层面还是物理连接层面),也没有谈负载均衡和请求的合理批处理(batching)。这段讨论为「推理服务工程」划出了更高的技术门槛。