NVIDIA 讲大模型推理原理
allenainie · x · 2026-07-16
NVIDIA 架构研究实习生分享自己在研究前沿 LLM 如何在公司最新的异构系统上推理，并表示会从第一性原理梳理自己学到的推理经验。 这是一篇带 mini experiments 的长线程，重点在于： - 面向大模型推理的系统思考 - 异构硬件上的 inference 设计 - 用实验验证推理结论
allenainie · x · 2026-07-16
NVIDIA 架构研究实习生分享自己在研究前沿 LLM 如何在公司最新的异构系统上推理，并表示会从第一性原理梳理自己学到的推理经验。 这是一篇带 mini experiments 的长线程，重点在于： - 面向大模型推理的系统思考 - 异构硬件上的 inference 设计 - 用实验验证推理结论