AGI 前夜：持续学习与上下文压缩将颠覆现有微调

akbirthko · x · 2026-08-13

AI 研究者 krandiash 指出，当前大量针对模型的后训练定制工作很快会被更智能的基础模型和持续学习（Continual Learning）能力所取代。他预测持续学习能带来 10-100 倍的智能提升，此时耗费大量算力去微调模型将不再是资源的最佳用途。

这种转变类似于 2019 年大家还在微调 BERT 变体，随后却被大语言模型（LLM）的上下文学习（In-context learning）以更少的数据和算力直接降维打击。另一位开发者对此表示认同，并认为未来模型上下文窗口的压缩技术能发展到何种程度，将是决定这一工作流变革的关键变量。