FT 报道 AI 金融问答高错误率，Mollick 质疑方法论
《金融时报》援引 Saturn 公司的研究报道称，ChatGPT、Claude、Copilot、Grok 和 Gemini 等最受欢迎的 AI 模型在回答金融类问题时平均 57% 给出错误答案，复杂多步计算场景下平均错误率更高达 88%。但 Ethan Mollick 查看报告后对其方法论与利益关联提出质疑，事件迅速演变为关于 AI 评测可信度的讨论。
已确认
- 报告核心数据：主流 AI 模型金融问答平均 57% 错误，复杂多步计算问题平均错误率达 88%（Gary Marcus、John Crickett、gerardsans 等多人转述，源头为《金融时报》报道的 Saturn 研究）。
- Ethan Mollick 指出该报告出自一家销售竞品 AI 金融服务产品的公司，存在利益关联；报告信息公开有限、样本问题很少，难以评估；且与近期「AI 财务建议表现良好」的研究结论相矛盾。
- Mollick 由此呼吁政府应直接对模型做评测并公布结果，而非把判断权留给利益相关方。
尚未确认
- 由于报告方法论与利益关联存疑，57% 与 88% 这两个错误率数字本身的可靠性尚未确认。
为什么重要
- 该事件既暴露了 AI 模型在专业金融场景的可靠性隐患，也暴露了当前 AI 评测生态的缺陷：厂商或竞品公司主导的评测难以取信于人。
- KhoaVuUmn 以反讽口吻调侃「AI 终于要取代经济学家的工作」，gerardsans 则借该报告批评 AI 营销炒作导致用户对模型过度信赖，多位评论者强调在专业场景使用 AI 仍需谨慎。
2026-09-20 ~ 2026-09-21 · 6 条相关
一手来源
- FT 称 AI 聊天机器人金融问答大多出错,Mollick 质疑其方法论 — emollick ·
- Ethan Mollick 呼吁政府直接评测 AI 并公开结果 — emollick ·
- 研究称主流大模型回答金融问题平均 57% 给出错误答案 — GaryMarcus ·
- 【源头】FT 称 AI 聊天机器人金融问答大多出错,Mollick 质疑其方法论 — emollick · 2026-09-20
- 【源头】Ethan Mollick 呼吁政府直接评测 AI 并公开结果 — emollick · 2026-09-20
- FT 调查：AI 聊天机器人回答金融问题多数时候是错的 — SatelliteNetSec · 2026-09-20
- 【源头】研究称主流大模型回答金融问题平均 57% 给出错误答案 — GaryMarcus · 2026-09-20
- 实测:主流AI模型金融问答错误率达57%,复杂题88%出错 — johncrickett · 2026-09-20
- 金融问答错误率57%,研究者批AI营销导致用户过度信赖 — gerardsans · 2026-09-21