用 RL 训出「设计品味」？实验显示 judge 决定模型的审美归属
simonguozirui · x · 2026-10-30
Jasper Lu 发布实验长文：能否用强化学习把设计品味训进模型？他在小米随 MiMo-V2.6 开源的 RL 环境中，取其中 2093 个 webdev 任务（共 7780 个 agentic 环境），用不同 LLM judge 训练两个版本的 Qwen3.8-27B。
关键发现：
- 设计等主观领域缺乏可验证奖励，标准做法 LLM-as-judge 只擅长识别明显糟糕的设计，对「品味」判断很差。
- RL 确实能训出稳定的品味，但模型最终学到的品味取决于 judge 的偏好——既不是作者的，也不是普通人的，更不是真正设计师的。
- 文章还探讨训练动态、结果对比、如何设计更好的 judge，以及品味是否泛化。
「编程与Agent」频道最新
- 独立开发者用廉价决策模型重排时间线,做出可操控的 X/IG 信息流 — sdand · 2026-10-30
- 新研究追问:多智能体团队为何总跑不赢单个 Agent? — JoshPurtell · 2026-10-30
- 朋友的 App 上线有用户，他却不知道代码部署在哪：付钱给 Codex — gabe_ragland · 2026-10-30
- Superconductor 发布：让团队与 Claude/Codex 等 agent 同处一个多人会话 — sergeykarayev · 2026-10-30
- YC F26 公司发布 Hue：给 Agent 一套环境模拟器用于测试 — ycombinator · 2026-10-30
- CMU 开源 SwarmChat：给 Agent 集群用的 Slack — niloofar_mire · 2026-10-30