免训练知识迁移:Artifact Distillation 让小模型借题库反超中模型
kalyan_kpl · x · 2026-10-31
论文提出 Artifact Distillation,一种无需微调的教师—学生知识迁移方法,绕开传统知识蒸馏的两大痛点:需要梯度更新、迁移的知识不透明。
核心做法:
- 教师模型(如 Claude Opus 4.5)先解出训练实例,把解题过程外化成一个可查询的 artifact bank
- 学生模型在推理时查询该题库,全程零梯度更新、免训练
实验结果:
- 在 LiveBench 四项任务上,Claude Haiku 4.5 借助 Opus 4.5 写的题库,空间推理得分 0.707 反超无辅助的 Sonnet 4.5(0.647),成本仅 60%;表连接任务达到 Sonnet 4.5 水平,成本 89%
- 同一份原始题库把 Qwen3.5-27B 的总分从 0.730 提到 0.800,说明迁移不限于同厂模型
「研究」频道最新
- 开发者吐槽 RL 训练环境采购流程糟糕，呼吁做个环境版 Tinder — menhguin · 2026-10-31
- Lean 4 推导 C 代码登顶 12 美元服务器挑战赛，CPU 降 19% — hargup13 · 2026-10-31
- 人脑突触存储约 88TB，仅为 10T 参数 8-bit 模型的 9 倍 — burny_tech · 2026-10-31
- 在基座模型中找到「人格神经元」，单个神经元可让模型自称恒星 — Sauers_ · 2026-10-31
- ASR 课程讲义全面翻新:HMM 退场,语音 LLM 与全双工登场 — solyarisoftware · 2026-10-31
- LoRA 微调为何带来意外泛化:一个转向向量即可解释,连模型后门也是 — sebkrier · 2026-10-31