新论文:LLM 口头表述概率与内部概率高度耦合
sineadwilliamso · x · 2026-10-06
Apple 研究员 Sinead Williamson 等人在 arXiv 发布论文《Verbalized and Internal Probabilities Are Coupled in Large Language Models》,系统研究了 LLM 口头表述的置信度(Verbalized Probability)到底在追踪什么。
核心发现:
- 无论基于 logit 的内部概率还是口头表述概率,都同时受训练数据(或上下文)中的分布频率与显式概率表述的影响;改变训练数据频率会直接移动口头表述概率。
- 口头表述概率不只是复述训练数据中的文字,而是直接追踪与 logit 频率共享的内部不确定性表征。
- 两者的耦合程度超出了独立追踪同一不确定性源所能解释的水平,因此口头表述的概率可以作为探查模型内部分布的代理。
- 训练数据中的置信表述若与真实频率不一致,会导致模型校准失准。
这意味着通过问模型"你有多确定"来估计其内部不确定性是可行的,为模型不确定性研究与校准提供了新的工具。
所属事件:Apple 新研究发现 LLM 口头置信度与内部概率高度耦合(2 条相关)→
「研究」频道最新
- 华为诺亚提出 Tail-Influence Sampling:策略评估 CVaR 估计误差最高降 76% — huawei-noah · 2026-10-06
- Google 发布 KeyRec:仅用 10% 视觉 token 预算搞定长视频与流式理解 — google · 2026-10-06
- 4DCodeBench 基准:前沿模型能重建静态场景却搞不定动态物理 — 4DCodeBench · 2026-10-06
- OmniTask 论文:生成数据训练确能提升理解任务表现 — WeijiaShi2 · 2026-10-06
- 牛顿证乘积法则不用极限：离散对称差分让高阶项神奇消失 — ctjlewis · 2026-10-06
- DeepMind 从零设计酶：一酶产药靶分子效率高 99 倍，一酶 90°C 降解塑料 — 141_1337 · 2026-10-06