Frontier 模型上下文学习正在变成持续学习,无需微调消化全新领域

Ryoiki-Tokuiten · reddit · 2026-11-21

Reddit 长帖观点:语言模型的 In-Context Learning 能力被严重低估——给前沿模型约 150k token 的精选上下文(任务核心规则、输出分布的高压缩表示),它就能即时「学会」一个从没见过、几乎不存在训练数据的全新领域,像被训练过一样流畅工作,全程无需微调。

作者给出两个亲历案例:

作者还测试了循环式「持续学习」:模型先读初始上下文→工作(可经自动压缩)→产出自己的成果→更新上下文→继续循环。检查发现更新后的上下文在规则遵循和一致性上可衡量地变好,虽不完美(偶尔做错误假设、破坏一致性),但作者认为这就是持续学习的雏形。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →