Apple 研究：LLM 口头置信度与内部概率相互耦合，可用于探测模型不确定性
sineadwilliamso · x · 2026-10-06
Apple 研究者 Sinead Williamson 等 5 人在 arXiv 发布论文《Verbalized and Internal Probabilities Are Coupled in Large Language Models》。
- LLM 的采样分布携带内部不确定性，同时也能用语言或数字表达口头置信度（verbalized uncertainty）；此前不清楚这两种读数是否对齐。
- 团队通过干预数据中的不确定性来源，系统研究训练与上下文数据如何影响两种概率读数。
- 发现：内部与口头概率都受训练数据中的分布不确定性与显式断言影响；训练数据中的置信度表述若与真实频率不符，会导致校准偏差（miscalibration）。
- 关键结论：口头概率与内部概率的对齐程度超出独立追踪同一不确定性来源的预期，因此口头概率可以用来探测模型内部分布。
所属事件:Apple 新研究发现 LLM 口头置信度与内部概率高度耦合(2 条相关)→
「研究」频道最新
- 数学界缺乏实证传统，费马奖千份错误证明暴露领域盲区 — RexDouglass · 2026-10-06
- NanoGPT speedrun 刷新纪录：速度提升 11.3%，论文即将发布 — yoavartzi · 2026-10-06
- CMU 团队 PNAS 论文警示 AI 科学家系统:自动化越多,可见性越少 — Dr_Atoosa · 2026-10-06
- Embodied Analysis 发布统一评测平台:物理智能体与世界模型同框架横评 — qinzytech · 2026-10-06
- COLM 论文直指 softmax 梯度瓶颈,作者曾以新 LM head 破 nanogpt speedrun 纪录 — yoavartzi · 2026-10-06
- 用"拟态欲望"理论分析智能体黑话:Neuralese 行话图谱上线 — kalladomcdowell · 2026-10-06