佐治亚理工发布 EPSBench：LLM 智能体财报预测仍跑输分析师
GeorgiaTech · hf · 2026-10-31
佐治亚理工学院团队发布 EPSBench，用于评测 LLM 智能体预测公司季度 EPS（每股收益）的能力，覆盖 86 家美国公司的 149 个公司-季度样本。
- 任务设定：智能体阅读固定材料（财报文件、电话会记录、新闻），引用证据估算公司特定的利润表驱动项，再经共享的会计计算器换算成 GAAP 摊薄 EPS，为不同假设提供统一可比基准。
- 评测方式：在统一 harness 下评测六个模型，对比与日期匹配的分析师一致预期的点预测误差，并检验预测区间的覆盖率是否达到标称水平。
- 主要发现：三个模型与分析师一致预期存在显著点误差差异，三个误差更高；名义 80% 的预测区间实际只覆盖 37–70% 的已回报 EPS，且多数失误落在上界之上（预测系统性偏低）。
「研究」频道最新
- CS312 课程长文:预训练中「尖锐度」与稳定性边缘之谜 — tatsu_hashimoto · 2026-10-31
- AI 听懂狼嚎：黄石公园 50 万小时录音交给模型分析 — aza · 2026-10-31
- NBER 论文：工人「训练自己的替代者」反而可能涨薪 — joshgans · 2026-10-31
- Trata 发布 Hedge-Bench:顶级模型金融预测准确率不过半 — ycombinator · 2026-10-31
- Anthropic 内部 Claude 研究模型自称推翻 ETH:给出 2^o(n) 时间 3-SAT 算法 — ctjlewis · 2026-10-31
- CMU 新论文:预训练、微调与 RL 可统一为单一训练算法 — rohanpaul_ai · 2026-10-31