Karpathy谈上下文窗口与微调
No Priors · youtube · 2026-07-14
Andrej Karpathy 认为，**上下文窗口**是一种“廉价”的方式来操控 AI 的行为，但这和真正去微调或定制一个模型、同时又尽量不损失其原有能力，是两回事。 他强调，如何“操纵大脑”这件事本身还没有被充分研究透彻；相比简单把信息塞进上下文，稳定地改造模型能力要复杂得多。
No Priors · youtube · 2026-07-14
Andrej Karpathy 认为，**上下文窗口**是一种“廉价”的方式来操控 AI 的行为，但这和真正去微调或定制一个模型、同时又尽量不损失其原有能力，是两回事。 他强调，如何“操纵大脑”这件事本身还没有被充分研究透彻；相比简单把信息塞进上下文，稳定地改造模型能力要复杂得多。