用套利利润衡量LLM预测:新论文构建股票预测一致性测试

soumitrashukla9 · x · 2026-09-05

Suproteem Sarkar 宣布与经济学家 Isaiah Andrews 合作发表新论文,系统评估语言模型预测的概率一致性。方法颇具巧思:用历史股票收益构建预测环境,再通过「对模型的预测做套利能赚多少钱」来量化预测之间的不一致程度——套利空间越大,说明模型预测越自相矛盾。

论文的后续推文还给出两项结论:一是事件间逻辑关系越多(联合分布 vs 边缘分布),模型预测越不自洽,无关上下文也会加剧不一致;二是模型间一致性差异达两个数量级,且一致性越高预测越准。