Thinking Machines 开源 Prompt Distillation 配方:把长提示词炼进模型参数
TheZachMueller · x · 2026-10-06
- Thinking Machines 的 tinker-cookbook 新增 Prompt Distillation(context distillation) 配方,通过微调让 LLM 把冗长复杂的系统提示词「内化」进参数,推理时无需再带上原提示词也能表现一致。
- 流程分两阶段:先由教师模型带着目标提示词 p 对一组查询 q 生成回答 r;再用这些数据微调学生模型,但学生看不到 p,从而学会内化提示中的行为规范。
- 作者 Zach Mueller 指出,把 Claude Code/Codex 这类产品中动辄数千 token 的大系统提示词蒸馏进开源模型权重,社区讨论还很少,该配方给出了一条可复现的路径,可显著降低每次请求的上下文开销。
「编程与Agent」频道最新
- 独立开发者实况:Grok Bot 联手多智能体团队 36 小时交付真实客户项目 — alexcovo_eth · 2026-10-06
- FlowBank 入选 NeurIPS:预存工作流组合按查询动态调度多智能体协作 — furongh · 2026-10-06
- 开发者 vibe coding 一周复刻 CS2,浏览器流畅运行不吃 GPU — TAbrodi · 2026-10-06
- SkillGym：用验证过的技能运行轨迹微调，Claude Code 成功率提升 19 分 — rohanpaul_ai · 2026-10-06
- PinkWallet 用 MCP 服务器给 Agent 付款上锁：规则在服务端而非提示词 — No_Brief_5075 · 2026-10-06
- 安全工程师一个月内从厌恶 vibecoding 到真香：工作更省力还有余力打磨 — eschadiol · 2026-10-06