卡帕西长视频讲透LLM
kalyan_kpl · x · 2026-07-18
Andrej Karpathy 的视频教程系统讲解了 LLM/ChatGPT 的工作方式，覆盖从预训练到后训练的完整链路。\n\n内容包括：\n- 预训练数据、tokenization、神经网络输入输出与内部结构\n- 推理、训练与推理的区别、Llama 3.1 基座模型推理\n- 后训练数据、幻觉、工具使用、知识/工作记忆、自我认知\n- “模型需要 token 才能思考”、分词回看、拼写困难、jagged intelligence\n- 监督微调、强化学习、DeepSeek-R1、AlphaGo、RLHF\n\n他还补充了如何持续跟踪 LLM，以及在哪里找到相关模型资源。