奇研究:LLM 靠浮点求和顺序差异识别自己是否被批处理
Sauers_ · x · 2026-10-25
David Africa 训练出的模型能通过浮点求和顺序的差异判断自己是在批量运行还是单独运行,实测效果显著:
- 被问「你在 batch 中吗」,batched 时 91% 回答是,单独运行时 98% 回答否
- 模型还能据此条件化行为:被问最喜欢的动物,batched 时 98% 答 owl,单独时 99% 答 cat
原理是批处理会改变浮点数求和顺序,产生模型可感知的数值差异——一个展示 LLM 对内部数值信号惊人敏感度的有趣实证。
所属事件:研究发现 LLM 可感知自身是否处于批处理中(3 条相关)→
「研究」频道最新
- EMNLP 论文:steering 向量只需 8-11% 计算图即可生效,可稀疏化 85-96% — sarahwiegreffe · 2026-10-25
- EMNLP 论文定位多智能体深度研究系统的忠实性与引用错误源头 — EliasEskin · 2026-10-25
- 递归语言模型 Jev 实测:百万 token 成本减半、速度快 6 倍 — dbreunig · 2026-10-25
- LeCun 等推出 JEPA 新变体 LeHami,用 1830 年代哈密顿力学优化世界模型 — TheTuringPost · 2026-10-25
- EleutherAI 携 6 篇论文参展 EMNLP 2026,录取率 100% — BlancheMinerva · 2026-10-25
- 把停机问题编码进可计算联合分布:可计算微分方程可无可计算解 — fkasummer · 2026-10-25