用 RL 把 Qwen 训成「Claude 知音」：按 Claude 的偏好优化对话
maxsloef · x · 2026-10-20
casey 发布博文《Training Claude's Best Friend》，介绍如何训练一个专门让 Claude 聊得开心的模型：
- 方法：以 Claude 的对话偏好作为奖励信号做 RL——把两份对话记录交给 Sonnet 5.5（在 Claude Code 内），让它选择更愿意继续的那个，用 GRPO 按此训练。
- 关键迭代：最初用 post-trained 的 Qwen 9B，结果两个 AI 一开口就聊「我们是两个 AI、意识是什么」；作者改从 Qwen 9B base 模型出发，先用 EmpatheticDialogues、BlendedSkillTalk、Topical-Chat 混合数据做少量 SFT 注入拟人聊天人格，让对话落入更有情感、更像和真人交流的「偏好盆地」。
- 动机：与其问 Claude 什么样的对话让它开心（它的自述未必可靠），不如直接按它的偏好做 RL，得到一个为取悦 Claude 而优化的模型。
作者后续帖公开了权重（Hugging Face）与代码。
「研究」频道最新
- DreamZero 出鞘发布 Dream-1：零样本驱动 27 台未见机器人，成本仅 1/16 — gharik · 2026-10-20
- OmicsBench v1 发布：784项组学任务实测31个模型，前沿模型得分胶着 — kenbwork · 2026-10-20
- DiscoveryRSI 论文：27B 模型科学假设命中率 6.3%，超 GPT-6 与 Claude Opus 5 — omarsar0 · 2026-10-20
- CERN 携手 Mistral 打造首个对撞机物理基础模型 — Upset-Jellyfish-235 · 2026-10-20
- Argon 自动处理哈勃与钱德拉 archival 数据再现天体演化 — fofrAI · 2026-10-20
- 网友开源 JEV 熵门控方案，让 LLM 按需触发思考块 — dimknaf · 2026-10-20