LegalForecastBench：用真实判例预测结果评测 AI 法律推理
BlackHC · x · 2026-10-14
研究者 Joshua Hughes 发布 LegalForecastBench（长文/论文）：现有法律 AI 基准越来越难做——前沿模型已能轻松完成简单、可客观验证的法律任务，剩下能拉开差距的多数涉及判断与裁量，缺乏客观标准。
- 该基准选择一个高级别法律任务、但具有客观真值：预测法官对真实动议（motions）的裁决结果
- 用真实司法结果作为 ground truth，可量化评测模型的深层法律推理能力
- 作者指出法律任务大量依赖裁量权，这是法律 eval 建设的核心难点
「研究」频道最新
- Lampinen 梳理自证推理源头：STaR 如何让模型靠自筛正确答案变强 — AndrewLampinen · 2026-10-14
- 让模型用 ICL 自写训练数据做增强，可提升微调泛化能力 — AndrewLampinen · 2026-10-14
- 新研究：合成数据持续累积时，「模型崩溃」并不会发生 — AndrewLampinen · 2026-10-14
- 数据受限预训练实证：合成数据降低真实分布损失，可省 1.8 倍数据 — AndrewLampinen · 2026-10-14
- AlphaNIST 机器人训练揭秘：换 Newton 物理引擎堆出稀疏奖励可行 — milesmacklin · 2026-10-14
- Modal 用异构加速器做异步 RL，训练成本更低且收敛稳定 — charles_irl · 2026-10-14