卡通图解 LLM 推理两阶段与 CUDA 错误处理陷阱

cfregly 的图解系列讲解 LLM 推理流程与 CUDA 错误处理：推理分为 prefill 和 decode 两阶段，前者由 Alice 代表并行处理 prompt 全部 token 并填充 KV cache，后者由 Lori 逐 token 生成并复用缓存；另一帖提醒 cudaGetLastError() 的经典陷阱——该调用会读取并清除错误状态，后续检查不到错误并不代表问题消失。

2026-11-11 ~ 2026-11-11 · 2 条相关