400 步 LoRA 微调开源模型即可追平专用决策模型 Jev

vanstriendaniel · x · 2026-10-24

社区热议的「System One 模型」(如 Jev)能在给定状态、问题和选项时,以远低于 LLM 调用的成本输出校准过的决策。作者团队的研究问题是:训练这类模型真的需要专门架构和配方吗?答案是:不需要。

方法:直接用开源 LLM 的最后一个隐藏状态,接一个在选项的 LM head 行上做 softmax 的 decision head,仅训练 LoRA 适配器和 head 校正,一次前向传播即输出带概率的决策(如客服工单路由示例:billing p=0.81)。

结果(OpenDecisions 基准):Jev 1.13(闭源 API)得 80.1,Gemma 4 31B 开箱即用就有 79.6,经过仅 400 步 LoRA(约 5 GPU 小时)微调后达到 84.4,反超专用模型。

论文:arxiv.org/abs/2610.17205《Releasing the Inner Jev: A Simple Recipe for Open Decision Models》。

所属事件:研究者复现 Jev 决策模型:LoRA 微调即可追平专用方案(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →