GPT-5 自称不知的金融事实仍能答对 61%,自报知识截止不可信
DataHound26 · hf · 2026-11-09
FinDendro 基准用 2226 条 1999–2026 年的带日期美国事实(宏观经济数据、月末股价、美联储决议)检验 LLM 的时间性自我知识,发现模型自报严重低估自身知识。
- GPT-5 实际答对 76% 的受控事实,却只声称知道 38%;对其自称「不知道」的事实仍答对 61%
- 知识宣称可超出所测知识边界最多 7 个季度
- 供应商声明的知识截止、询问模型、指定历史日期作答三种防泄漏手段均不可靠;声明日期虽消除大部分「先前知识」宣称,但准确率不变
结论:训练窗口内的金融回测无法通过自报、指令或声明截止来证明无泄漏,需要行为测量模型的时间知识边界。
「研究」频道最新
- 最强 3D 生成模型仍反复犯三类低级错误：Z-fighting、单面几何、坐标系错位 — teortaxesTex · 2026-11-09
- EPFL 研究者将在线讲解掩码扩散语言模型的轨迹感知训练 — AnnaCiaunica · 2026-11-09
- UC伯克利等新论文：Agent 自我进化提分 5.2 却丢掉 10 个原本会做的任务 — rohanpaul_ai · 2026-11-09
- MoE训练终极手册已有中文版：3万字50+交互图表全覆盖 — Nouamanetazi · 2026-11-09
- 斯坦福DSP传奇Julius Smith三小时深度访谈上线YouTube — teropa · 2026-11-09
- 硬件感知 LDM 实现:状态回卷+窗口写入,大幅降低激活内存与访存开销 — SonglinYang4 · 2026-11-09