400 步 LoRA 微调开源模型即可追平专用决策模型 Jev
vanstriendaniel · x · 2026-10-24
社区热议的「System One 模型」(如 Jev)能在给定状态、问题和选项时,以远低于 LLM 调用的成本输出校准过的决策。作者团队的研究问题是:训练这类模型真的需要专门架构和配方吗?答案是:不需要。
方法:直接用开源 LLM 的最后一个隐藏状态,接一个在选项的 LM head 行上做 softmax 的 decision head,仅训练 LoRA 适配器和 head 校正,一次前向传播即输出带概率的决策(如客服工单路由示例:billing p=0.81)。
结果(OpenDecisions 基准):Jev 1.13(闭源 API)得 80.1,Gemma 4 31B 开箱即用就有 79.6,经过仅 400 步 LoRA(约 5 GPU 小时)微调后达到 84.4,反超专用模型。
论文:arxiv.org/abs/2610.17205《Releasing the Inner Jev: A Simple Recipe for Open Decision Models》。
所属事件:研究者复现 Jev 决策模型:LoRA 微调即可追平专用方案(2 条相关)→
「模型」频道最新
- SemiAnalysis 实测:Anthropic 悄悄 A/B 测试 Claude 用量限额,同价差 20% — RexDouglass · 2026-10-24
- Kimi K3.1 Pro 跑分出炉:SWE Marathon 登顶,多榜紧咬 Opus 5.5 — scaling01 · 2026-10-24
- Kimi 3.1 定价 $2/$10 每百万 token,博主称仍难敌 DeepSeek — bindureddy · 2026-10-24
- NVIDIA Nemotron 3.5 Bolt 上架 Ollama,128K 上下文本地小视觉模型 — ollama · 2026-10-24
- LlamaIndex 发布 OCRia-1:解析成本仅 Claude 的 1/4、速度快 7 倍 — llama_index · 2026-10-24
- OpenAI 三篇红条论文被指证明策略无法挽救,错误两周半无同类报告 — teortaxesTex · 2026-10-24