ICML 论文证明：有限上下文窗口在对抗决策下存在不可能性结果
burny_tech · x · 2026-11-02
arXiv 论文《Next-Token Prediction and Regret Minimization》（作者包括 Mehryar Mohri、Clayton Sanford、Jon Schneider、Kiran Vodrahalli、Yifan Wu）从理论上刻画了下一词预测与对抗环境下的遗憾最小化之间的关系。
核心结论：
- 无限上下文：任意对手动作序列分布 D 都在总变差距离上指数级接近某个低遗憾分布，因此总能在几乎不损失预测精度的前提下实现次线性对抗遗憾——预测质量与对抗鲁棒性原则上不根本冲突。
- 有限上下文（如现代 Transformer 的窗口 w）：存在一些对手策略分布，与任何低遗憾分布的距离保持 Θ(1) 常数级，构成不可能性结果。
- 适度扩展上下文窗口即可恢复近最优的遗憾保证；基于完整历史的构造可通过给 Transformer 增加常数数量的层来实现，并有小模型初步实验支撑。
「模型」频道最新
- 特斯拉 FSD 里程即将突破 170 亿英里,每小时新增 180 万英里 — XFreeze · 2026-11-02
- Gemini API 燃料价 12 月 1 日起翻倍，网友贴官方定价页实证 — Top_Departure_6901 · 2026-11-02
- Opus 5.5 用token更省，但一晚仍烧掉 80% 周额度 — nptacek · 2026-11-02
- OpenAI 合并 ChatGPT 聊天与 Work 标签页,Codex 与聊天共享用量池 — TechCrunch AI · 2026-11-02
- Reddit 用户吐槽 Gemini Argon 不如上代:指令遵循差、连音频转写都失败 — PreparationOdd430 · 2026-11-02
- 开发者警告:勿买 LLM 年付套餐,厂商正悄悄缩水额度 — HankYeomans · 2026-11-02