Andrew Ng 新课：快速推理硬件
AndrewYNg · x · 2026-07-17
Andrew Ng 推出了一门新课，主题是：如何用专为快速推理设计的硬件来构建更快响应用户请求的 LLM 应用。课程由 Cerebras 支持，讲师包括 @zhennydez、@duerr_seb 和 @MilksandMatcha。 课程核心讲的是推理时的 **memory-to-compute 瓶颈**：模型生成文本时，大量时间花在把权重从内存搬到计算单元。Cerebras 的 Wafer-Scale Engine 通过把权重尽量靠近计算单元来减少搬运，从而让 token 生成速度显著快于常规 GPU 方案。 课程还会覆盖： - GPU、TPU、Cerebras 在这一瓶颈上的差异 - 用更快推理做实时应用，如网页个性化、多步市场信号分析 - 面向 agentic coding 的具体习惯：保持会话聚焦、用更有效的方式引导模型 他还提到，自己的团队已经在多个低延迟场景里使用 Cerebras。