新预印本:Transformer 为每个交互智能体单独构建内部表征
AnnaCiaunica · x · 2026-11-03
Imperial College 的 Fernando Rosas 发布预印本论文《Beliefs in feedback: Factored representations of interacting agents in transformers》:当 Transformer 预测多个相互交互的智能体时,会在内部为每个智能体分别构建独立的表征,用以追踪各自的「信念状态」。配图展示了训练过程中内部表征逐步收敛到理论上的信念状态单纯形(belief states,R² 从 0.914 提升到 1.000)以及每个智能体的发射概率结构(R² 达 0.996),说明模型自发学到了对交互对象的分解式信念表征。
「研究」频道最新
- 评测研究者 LChoshen 加入魏茨曼科学研究所,创办 CoLab — LChoshen · 2026-11-03
- 编辑 0.016% 权重根治 Qwen 推理死循环,MATH-500 从 7.9% 升至 48.1% — DeliciousGorilla · 2026-11-03
- MIT 提出 Soft-MTP:一行代码去掉 80% 噪声梯度,免费提升 LLM 预训练 — kastnerkyle · 2026-11-03
- Aaron Roth 发布校准多准确性论文,与陆玖尧等合作 — Aaroth · 2026-11-03
- 多校准常被高估?Aaron Roth 提出只需全局校准加多准确性 — Aaroth · 2026-11-03
- MOPD 成今年技术报告高频词:TRL 现已支持多教师在线策略蒸馏 — SergioPaniego · 2026-11-03