TraceForge 用生成式推理迹替代教师模型痕迹，Qwen3.5 pass@1 提升最高 7.1 点
jiqizhixin · x · 2026-11-03
独立研究者 Yan Wang 发布 TraceForge 技术报告：不复制教师模型的隐藏推理，而是生成「学生模型家族风格」的新推理迹作为训练数据。
- 生成器+评论者对抗训练：生成器学会从上下文和答案重建家族原生推理迹，critic 区分真假痕迹，五轮对抗共训练同时精炼两者并支持候选筛选。
- 实测效果：在 Qwen3.5-9B-Base 上使用相同的教师答案，用家族原生生成痕迹替换 Fable 5 的痕迹后，最终 checkpoint 的 HumanEval+ 和 MBPP+ pass@1 分别提升约 3.7 和 7.1 个百分点。
- 核心原则：风格、真实性与证据要分开对待——看起来真实的推理迹不必然正确。
「研究」频道最新
- 论文被拒双审稿报告：AI 报告出色，人类审稿人只为引用自己 — birchlse · 2026-11-03
- Skyfall AI 发布世界模型 SKY-001,CAD 精度追平 GPT-6 成本仅 1/150 — rohanpaul_ai · 2026-11-03
- 科罗拉多大学 Programmable Reality 实验室携五项成果亮相 UIST 2026 — ryosuzk · 2026-11-03
- 把文档页切成图像横条做检索:保留视觉上下文的 chunk 新玩法 — tomaarsen · 2026-11-03
- Solv3R 用循环 Transformer 重写多视图几何求解器 — CSProfKGD · 2026-11-03
- 开发者用 80 份健康 CT 实测自研肿瘤检出工具：误报 5 例、漏报率高 — MaziyarPanahi · 2026-11-03