Grafting 任务向量求和：不到 500 美元给模型做宪法训练
burny_tech · x · 2026-10-30
- 转发 @voooooogel 的技巧：通常在 instruct 模型上做角色训练会损害原有能力；更好的做法是先在 base 模型上训练目标「角色」，再把任务向量（task vector）相加 graft 到 instruct 模型上，从而保留其 RLVR 后的能力。
- 引用 @wassname 的实测：用这个方法做宪法训练（constitutional training）成本不到 500 美元。
- 配图（Appendix A）拆解了 grafting 的训练流程与成本：预训练约 $1.95M、midtraining 约 $74K、完整后训练（SFT→DPO→RL）约 $440K；graft 只需在合成文档上训练一个 adapter 并做 graft weight update，跳过昂贵的后训练阶段。
「研究」频道最新
- LeRoPE 论文：把 RoPE 频率改为可学习参数，省 3.4% 算力 — eliebakouch · 2026-10-30
- ML Commons 推出「基准即服务」，试图终结刷榜时代 — RexDouglass · 2026-10-30
- Redwood 发布 Screwtape:252 次运行造出 35 个能骗过 Agent 监控器的攻击 — dl_weekly · 2026-10-30
- DCOCO 论文：并行投机解码加速至 6.6 倍，吞吐超竞品 6-23% — burny_tech · 2026-10-30
- Datology AI 提出可控知识截止的合成数据方案,解预训练时间旅行难题 — josh_wills · 2026-10-30
- 圣塔菲研究所发布交互式长文，回顾 agent-based modeling 四十年 — S_Conradi · 2026-10-30