Frontier 模型上下文学习正在变成持续学习,无需微调消化全新领域
Ryoiki-Tokuiten · reddit · 2026-11-21
Reddit 长帖观点:语言模型的 In-Context Learning 能力被严重低估——给前沿模型约 150k token 的精选上下文(任务核心规则、输出分布的高压缩表示),它就能即时「学会」一个从没见过、几乎不存在训练数据的全新领域,像被训练过一样流畅工作,全程无需微调。
作者给出两个亲历案例:
- 一个极小众、互联网/大学/书籍中都几乎找不到资料的自研数学方向,模型理解上下文后产出了作者平时要花 2-3 周才能得到的新结果
- 一门新编程语言 BEND-2,模型在从未见过的情况下生成了有意义的 laws 和 proof 文件
作者还测试了循环式「持续学习」:模型先读初始上下文→工作(可经自动压缩)→产出自己的成果→更新上下文→继续循环。检查发现更新后的上下文在规则遵循和一致性上可衡量地变好,虽不完美(偶尔做错误假设、破坏一致性),但作者认为这就是持续学习的雏形。
「漫话AGI」频道最新
- Jack Clark:AI 加速科学进步的速度,2027 年后如何应对将成关键 — jackclarkSF · 2026-11-21
- LeCun 重申:AI 最大风险是权力集中于少数专有系统 — ylecun · 2026-11-21
- 开发者反问:「AI 已失控论」者为何拿不出更多真实事故 — basedjensen · 2026-11-21
- Reddit 长文:AI 末日论是人类权力偏执循环的 21 世纪重演 — Possible-Insect3752 · 2026-11-21
- DeepMind 意识研究者 Shevlin 登 FT:谈机器意识与 Nagel 之蝙蝠 — dioscuri · 2026-11-21
- 数学家撰文谈自动化冲击:科研生涯的意义正在被 AI 重写 — littmath · 2026-11-21