PremiseCheck:把审稿意见拆成前提逐条核查,成本仅为 GPT-5.5 一半

Dingjie Song · hf · 2026-10-19

Lehigh、UBC 与 Vector Institute 的论文针对同行评审压力:人类或 AI 撰写的审稿意见可能误述论文内容。团队发布 ReviewFact 基准,跨 NLP、机器学习与自然科学标注审稿意见中的事实错误,并同时衡量成本与延迟。前沿 LLM 逐条核查表现好但需通读全文,便宜的判定模型面对混合多条隐含断言的整段评论则明显不足。PremiseCheck 框架结合两者:LLM 先把评论改写成显式前提(不读论文),再由判定模型逐条对照论文核查。逐条独立核查时,准确率与 GPT-5.5 相当,成本约其一半;NLP 领域仅为四分之一成本、不到一半延迟。