LLM预测能力研究：激活比文字更可靠
burny_tech · x · 2026-07-11
Goodfire 发布了一篇关于 LLM 预测/forecasting 的论文，题目是 “What LLM Forecasters Know but Don’t Say”。
文章指出：LLM 预测器常常显得很自信，但校准并不稳定；它们的 chain-of-thought 也未必能揭示预测为何变化。研究发现，模型内部激活值 比输出文字更能反映真实状态。
论文通过小型 probe 读取这些激活，来：
- 提升置信度校准
- 检测“无声”的证据变化
- 在推理开始前就部分恢复预测结果
作者认为，这是一种更便宜、也更忠实的 LLM 预测审计方式。
「研究」频道最新
- MIT Ziming Liu 批评 AutoResearch：不懂原理的训练技巧会引发 forking 过拟合灾难 — ZimingLiu11 · 2026-10-26
- 斯坦福数据中心化 AI 研讨会开放报名，海报截止延期 — jure · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- 浏览器助手 Ito 读懂浏览意图，自动把标签页编排成 Flows — andrewkuznet · 2026-10-26
- 康奈尔研究称大脑按线性序列处理语言,挑战乔姆斯基层级语法;印度语言成反例讨论点 — anirbanbandyo · 2026-10-26
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26