斯坦福今秋开讲高效LLM课程:MoE、量化、投机解码全覆盖

aminkarbasi · x · 2026-09-21

斯坦福今秋开设研究生课程 MS&E 319:Efficient Generative Language Models,由 Amin Karbasi、Anay Mehrotra、gvelegkas 和 Amin Sabesi 等讲授,核心问题是:在算力预算受限的前提下,如何选择训练目标、模型架构与推理算法。

课程将覆盖让 LLM 更高效的主要思路与技巧,包括高效预训练、混合专家(MoE)架构、注意力与 KV-cache 压缩、量化、投机解码、LoRA、RLHF、DPO 和蒸馏。作者调侃「再买点 GPU」不会是唯一答案,并承诺课程讲义与录像将陆续公开。