Gemini 股票预测越自信越错
aufgeblobt · reddit · 2026-07-15
作者做了一个持续运行的、时间锁定的股票预测数据集，用来观察 **Gemini 2.5 Flash** 在不能“背答案”的场景下如何表现：模型每天基于 Google Search grounding 预测未来 10 个交易日的股价方向、情绪、置信度和完整推理链，实验从 2026-02-17 跑到 2026-05-19，已超过 90 天。 主要发现是：**模型越自信，错得越多**。整体校准误差（ECE）为 0.217，在 0.8–0.9 置信度区间里准确率只有约 28%，是表现第二差的区间。作者还尝试用“风险下行”提示词来纠正 LLM 的过度乐观倾向，结果又出现明显过度修正，‘Down’ 的预测次数超过了真实下跌次数。 另外还做了一个“phantom pivot” 检测器，用来抓模型臆测趋势反转的情况，在高成交量 ticker 上稳定卡在约 50% 的上限。作者把方法、仪表盘和结果公开在网站上，HF 上也有多模型版本的数据集。
「研究」频道最新
- Agent Arena 发布 agent 评测因果追踪方法与完整榜单 — arena · 2026-07-21
- Coincidex 探索无回放持续学习 — theawkwardbong · 2026-07-21
- LLM每token能耗或已低于人脑 — jd_pressman · 2026-07-21
- 机器人RL用写实场景零样本迁移 — lukas_m_ziegler · 2026-07-21
- 用股价估算 AI 宏观影响的论文 — daveholtz · 2026-07-21
- 为什么单 Agent 往往够用 — UsedMorning9886 · 2026-07-21