新论文:上下文学习在语言、基因组、蛋白质等六种模态中普遍涌现
DanielKhashabi · x · 2026-09-17
Daniel Khashabi 团队新论文检验「上下文学习(ICL)是否为语言模型特有」,在语言、基因组、蛋白质、整数序列、时间序列和图像六类数据上训练模型执行相同的抽象任务:
- 少样本 ICL 在全部六种模态中都出现
- 更惊人的是,五种模态中相同任务在 in-context 学习中的难易趋势一致,尽管各模态能力各有强弱
- 作者提出「趋同涌现假说」(Convergent Emergence Hypothesis):ICL 可从多种结构化数据上的下一 token 预测中涌现,存在超越模态的共享内核
论文由 Nate Schlueter 等主导完成。
所属事件:JHU 研究：上下文学习在六种模态中普遍涌现(4 条相关)→
「研究」频道最新
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
- 数学家 Tony Feng：当前范式 LLM 缺乏研究所需的思维多样性 — littmath · 2026-11-02
- 「不懂测度论就学不了概率」？数学圈调侃形式化与本质的错位 — LucaAmb · 2026-11-02
- DStill 论文：蒸馏多步去噪轨迹，块扩散投机解码提速至 6.45 倍 — LucaAmb · 2026-11-02
- 研究发现门控参与度与生成质量强相关，径向目标降 FID 至 11.83 — Junha Park · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02