多任务贝叶斯ICL论文
rohanpaul_ai · x · 2026-07-13
这篇论文提出 **Multi-Task Bayesian In-Context Learning**：让 transformer 通过示例数据去学习任务的“起始假设/先验”，并在**不改权重**的前提下调整预测。 ## 核心思路 - 许多已训练模型实际上只隐含了一个先验；当遇到陌生环境时，预测会变脆弱。 - 新方法把**多个相关数据集**放在目标样本前面，用它们来表达“这个任务通常怎么发生”，作为先验信号。 - decoder-only transformer 因而可以学习任务之间的隐藏结构，再用这些结构去预测目标任务。 ## 结果 - 在回归测试、重尾分布漂移、复杂先验和气候数据上，方法经常能接近 Bayesian 参考预测。 - 速度上比基于采样的推断快得多。 - 但在**严重季节性偏移**下仍然会暴露出明显局限。