在 Qwen3-0.6B 上用 LoRA 复现决策模型:软标签立功,自定义头无效
Anmorgan24 · reddit · 2026-11-19
作者为搞清 Jev 等决策模型的内部机制,用 Qwen3-0.6B-Base + LoRA(r=16)在免费 Colab T4 上搭了个最小决策模型,并在 typed-decisions 基准上公开了完整实验细节。
做法与关键结论
- 决策模型一次前向即对每个候选项输出概率,不生成文本;通过 packing 让五个问题分支只关注状态与自身,token 量降 2.1 倍,单案例耗时从 329ms 降到 175ms。
- 把全词表硬标签换成答案 token 上的软标签(三个教师标注平均的知识蒸馏),KL 从 0.27 降到 0.10,ECE 从 0.12 降到 0.02,测试准确率 +2。
- 用决策头替换 LM-head 读出几乎零收益,各指标差距 <0.01。
- 温度缩放能修 SFT 基线的过度自信(ECE 0.134→0.027),但仍不如不加缩放的软标签方案。
踩坑记录
- transformers 5 的 eager attention 会误读布尔 4D mask,加性 float mask 全实现可用。
- -inf 选项槽在温度拟合时产生 NaN 梯度,换成大有限值。
- T4 上 bf16 是模拟运行导致概率精确打平,仓库仅在 compute capability ≥8.0 默认 bf16。
模型是基准训练集上的专家(0.78 已过教师自一致性 0.75 的饱和点),与 Jev 这类 zero-shot 模型不可直接对比。代码与复现配置已开源。
「研究」频道最新
- Multi Agent Coordination Bench 发布:8 个 agent 协作反而不如单打独斗 — AlexGDimakis · 2026-11-19
- HiT 图像生成模型:从像素端到端学出抽象层级,ImageNet 256 FID 达 1.48 — LucaAmb · 2026-11-19
- Stanford 团队推出 DiscoveryAgent,帮科学家判断哪些前沿问题值得做 — james_y_zou · 2026-11-19
- OpenAI 经济学家发布《AGI 的简单经济学》精简版:验证仍是安全扩展瓶颈 — Dan_Jeffries1 · 2026-11-19
- Impetus Grants 呼吁慈善资金补齐 AI 攻关衰老病所缺的纵向数据 — jgooten · 2026-11-19
- Xlue 发布人类健康世界模型,宣称算力成本不足传统 0.1% — saranormous · 2026-11-19