HalachaBench 引发争论：用塔木德律法考模型是知识还是推理？

teortaxesTex · x · 2026-11-02

X 用户 teortaxesTex 引用 HalachaBench 基准并持批评态度，认为它是「区分知识与推理能力」的最差基准之一——因为答对要靠记住大量犹太律法（塔木德式）文献，而非真正的推理，并称这也说明人类文化直到最近都不太区分这两者。被引用的 theojaffee 则认为这恰恰是极好的语言推理能力基准。HalachaBench 官方回应称：无法靠纯推理得出答案，必须闭卷知道各文献来源与后世权威的裁决并加以权衡（且是希伯来语），这是很有意思的模型测试方式。