单卡 1 小时 40 分钟、约 5 美元训出 89.5% 准确率的 LLM 评测官

MaziyarPanahi · x · 2026-11-15

Maziyar Panahi 分享了一份完整的低成本 LLM judge 训练配方：在单张 GPU 上 1 小时 40 分钟、约 5 美元成本，训出一个 RAG/安全评测判定模型，在 4,035 条测试数据上达到 89.5% 准确率。

关键步骤：

• 使用 40K 条标注判定数据，每个任务最多保留 2,505 条，防止任务类别失衡；
• 剔除 5,645 行与测试集重叠的数据，避免泄漏；
• 用 Qwen3.5-4B 配合 Unsloth 的 decision head，LoRA 仅训练 1.4% 的权重（约 6,450 万参数）；
• 用 400 条 held-out 数据做校准（校准准确率 88.75%，ECE 0.034）；
• 最终 RAG 评测准确率 89.16%，安全评测准确率 89.78%。

训练日志显示 batch size 32、单 epoch、1238 步，在时间预算内完成（7589 秒）。这是一份可直接照做的 LLM-as-judge 廉价替代方案。

原文链接 →

「编程与Agent」频道最新

• 研究者扫描 15.9 万 Lovable 项目，大量敏感数据裸奔 — bibryam · 2026-11-15
• 用 Rust+wgpu 重写代码画布,25万文件依赖图稳定 60fps — IgorCarron · 2026-11-15
• 开发者反思:模型已够强,多数 agent 编排结构只是「token 焚化炉」 — pvncher · 2026-11-15
• DataTalksClub 创始人办德国全日制 AI 学院,学费可走 Bildungsgutschein — Al_Grigor · 2026-11-15
• AI 能把公司用到什么程度?49 条 AI 原生运营指南开篇 — FinanceYF5 · 2026-11-15
• TensorFold 修 MCP 沙箱漏洞：dyld 加载 Frameworks 目录被拦截 — AIFlow_ML · 2026-11-15

更多「编程与Agent」频道 AI 资讯 →