为什么 Opus 5 满口 Claudist 腔?技术分析给 RL 训练侧多种解释
burny_tech · x · 2026-11-05
作者推测 Opus 5「Claudist 方言」明显、Opus 5.5 又减轻的可能原因,全部指向 RL 训练侧:
- agentic RLVR 中 KL 散度正则不够强,或 clipping 太弱,导致模型漂移偏离人类文本流形,reward hacking 与错误奖励设计放大问题
- SFT 冷启动数据里类人结构不足
- 用 Claudiness 人设 rubric(含 Claude constitution 作 rubric)做 RL 造成流形上的 mode collapse,且 Claude 系模型当 LLM judge 时自我偏好 Claudisms 形成额外强化
- RL 中类人度 rubric、RLHF 过少或过多都可能是变量
作者提出可用消融实验验证,但需要大量算力与数据。
「模型」频道最新
- 开发者吐槽:GPT 6.1 创意远逊 Opus 5.5,品味要手把手教 — zsakib_ · 2026-11-06
- Bittensor 训练的 9B 模型 SWE-bench 达 43.6%,超 Qwen3.5-9B — const_reborn · 2026-11-05
- Reddit 热议:OpenAI 模型分层是在卖 AI 还是卖选择焦虑? — Good-Conference-2937 · 2026-11-05
- DeepSeek flash 端点冲上约 1000 TPS,内核优化全靠模型自己改 — saranormous · 2026-11-05
- Kimi K3.1 Pro 上线 You.com Inference Router,1M 上下文 — PolarBearby · 2026-11-05
- Mistral 发布 Le Chonk 模型与 Studio 托管智能体、工作流和应用 — MistralAI · 2026-11-05