arXiv 论文：Jev 判定器级联替代前沿 LLM 审 RAG 论断，准确率几乎不降

rohanpaul_ai · x · 2026-10-27

上一条的论文链接本体：arXiv 2610.20634《Jev-as-a-Judge for RAG Claim Verification》，作者 Alden Do Rosario 与 Kirollos Atef（CustomGPT.ai）。

核心发现：非生成式判定模型 Jev 与前沿 LLM 在 495 条标注论断上准确率统计不可区分（差 -0.56 分），成本差 187 倍；但 Jev 放行 23.2% 无支撑论断（Astra 为 14.1%），两者判断不一致率达 15.2%。置信度门控级联达 74.10 分、$2.92/千条，但同预算随机升级效果相当——省钱靠的是升级比例而非概率挑选。相比纯 Jev，级联贵 61 倍仅换 0.83 分。结论：同等准确率掩盖不等同错误，全部预测、prompt、定价与代码已开源。