JockeyBench：用日本赛马评测 LLM Agent 的重复事件预测能力

Zhongwei Xie · hf · 2026-10-27

港科大团队发布 JockeyBench，一个以日本赛马为场景的 benchmark 与评测协议，研究 LLM agent 在「重复事件预测」上的能力——即从嘈杂证据中提取预测信号，并在连续决策中评估其回报、风险与成本。

协议结合时间门控证据、定价工具、成对的冻结程序对照，以及两种工作流：执行 LLM 写的预测代码和直接从证据预测。核心发现：可复用的预测器能提升效率，但所有配置的平均投注回报均为负——预测优势未必转化为决策收益。