单张4090复现轨迹反演：无思维泡蒸馏Qwen3-4B
Signature97 · reddit · 2026-08-21
基于论文《How to Steal Reasoning Without Reasoning Traces》的思路，作者做了个一手小实验：不重跑原论文的 no-summary 反演管线，而是用 Jackrong 已发布的 Trace-Inverter-4B 重建的推理轨迹数据集（含 Claude 答案与思维泡），在完全去掉思维泡后，仅用 {题目, 最终答案} 监督 LoRA 微调一个 Qwen3-4B——即从「有泡反演器」蒸馏出「无泡反演器」。
- 数据：去重后 13,428 条，训练用 12,094 条
- 训练：LoRA BF16、单 epoch，单张 16GB RTX 4090 笔记本 GPU 完成后合并权重
- 评测（10 条确定性保留样本）：无泡版 Token F1 0.6500 / ROUGE-L 0.3916，接近有泡原版（0.6821/0.4276），明显超过基座 Qwen3-4B（0.4059/0.2081）与去掉泡的原版 OOD 表现（0.6061/0.3710）
- 作者附了定性样例（Gettier 问题）展示无泡学生模型能生成结构化的合成推理轨迹
- 实现注脚：跑 Jackrong checkpoint 对比时还打了补丁，修复了重建的 <think> 内容被塞进 tool call 而非正常输出的问题
「研究」频道最新
- τ0-VLA：世界模型引导测试时搜索的分层机器人基座模型 — sii-research · 2026-08-22
- 开源 ITSMBench：50 个任务评测多轮 Agent 能力 — Shahules786 · 2026-08-22
- Recursion 发布 Nesso 模型：药物结合亲和力预测提速 10 倍 — anshulkundaje · 2026-08-22
- Owain Evans 访谈：大模型潜在错位与安全研究 — sjgadler · 2026-08-22
- NVIDIA 与 UC Berkeley 开源触觉机器人方法论 T-Rex — DrJimFan · 2026-08-22
- Lightwheel 开源 10 万小时人手操作数据集 — vanstriendaniel · 2026-08-22