4B 开源模型 22 分钟训练击败 Jev 1.14，成本仅 1.87 美元
MaziyarPanahi · x · 2026-10-21
- 作者用开源数据集训练了自己的 RAG 评估 judge 模型：基于 Hugging Face 上的 Jev-RAG-Claim-Verification-130K 数据集（约 13 万条 RAG 声明验证/幻觉检测样本，训练/验证/测试三划分，字段含 gold 标签、jev 预测、token 用量与成本等），训练了一个 4B 开源模型。
- 成绩：在 4,035 条留出的 RAG + safety 样本上，4B 模型达 89.4%，超过 Jev 1.14 的 82.2%。
- 成本极低：单块 NVIDIA H200、Hugging Face Jobs 上仅 22 分钟、花费 1.87 美元；此前用 Jev 1.14 跑完全部 6,035 次 API 调用也只花了 20 美分。
- 有趣的反转：在模型未见过的 PubMed 数据上 Jev 反而胜出——作者暗示这可能意味着 Jev 在自己的数据上过拟合。两个数据集均已开源。
所属事件:开发者推出 Token Arcade，用游戏理解结构化输出(3 条相关)→
「研究」频道最新
- Sitzmann 团队推出 OPAL：智能体在环的反应式训练优化器 — vincesitzmann · 2026-10-22
- 首尔大研究：LLM 闭卷事实错误多是「首 token 回忆失败」,给个开头就能答对 — SeoulNatlUniv · 2026-10-22
- Mirendil 宣布无专职预训练团队实现规模化预训练里程碑 — bneyshabur · 2026-10-22
- METR 80% 时间视野曾达 3 小时，OpenAI 内部报告仅 15 分钟 — tobyordoxford · 2026-10-22
- OPAL 让编码 Agent 训练中实时重写优化器,作者称手调时代结束 — vincesitzmann · 2026-10-22
- OPAL 自动设计学习率调度,复杂度比肩 DeepSeek 手调方案 — vincesitzmann · 2026-10-22