在 Qwen3-0.6B 上用 LoRA 复现决策模型:软标签立功,自定义头无效

Anmorgan24 · reddit · 2026-11-19

作者为搞清 Jev 等决策模型的内部机制,用 Qwen3-0.6B-Base + LoRA(r=16)在免费 Colab T4 上搭了个最小决策模型,并在 typed-decisions 基准上公开了完整实验细节。

做法与关键结论

踩坑记录

模型是基准训练集上的专家(0.78 已过教师自一致性 0.75 的饱和点),与 Jev 这类 zero-shot 模型不可直接对比。代码与复现配置已开源。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →