复现 Jev 决策模型消融：LoRA 微调 84.9 分超过完整方案

vanstriendaniel · x · 2026-10-24

作者花约一个月做开源 Jev 式决策模型实验（主要参考论文 Releasing the Inner Jev），核心发现：所需训练量可能比想象中少——把选项写成 A/B/C 字母、跑一次 forward pass、直接读字母位置得分，instruct 模型就能接近 Jev：Gemma 4 31B 在 OpenDecisions 上拿 79.6，对比 Jev 的 80.1。

31B 上的消融：只训 letter head（backbone 冻结）得 78.9，略低于 zero-shot；只训 LoRA（head 冻结）反而最高 84.9；LoRA+head 完整配方 84.4。说明收益来自表征适配，字母读出本身已是不错的 head。其他发现：短训练赢（400–800 步），更长训练多会损失校准；4B 小模型无额外技巧则无收益。