用不同模型当 RL judge 会训出不同「审美」的模型，且难以训练出真正品味
round · x · 2026-11-03
Jasper Lu 的研究《Reinforcement Learning for Design Taste》探讨了 LLM-as-judge 对模型设计品味的影响，elou 与 round 转发并评论：
- 实验用 Sol 与 Sonnet 分别作为 judge，在同一套 webdev RL 环境（小米 MiMo 开源的 2093 个 webdev 任务）上训练 Qwen3.8-27B，两个模型把不同的行为风格训进了被训模型
- 但当让两个模型互相当评委时，都更偏好 Sonnet 训出的谱系
- 数学/代码有客观验证器，设计等主观领域只能靠 LLM judge，而模型擅长识别明显糟糕的设计，却难以判断符合人类品味的「好」
- 作者观点：品味高度依赖语境，当前一代模型很难把固有品味训进模型本能，除非在极窄维度上过拟合
- 引出的开放问题：能否在 harness 中混合多个模型来唤起有品味的行为？
「模型」频道最新
- Anthropic 收紧 Claude Code 限制，阻止逆向工程与游戏克隆 — Big_Wave9732 · 2026-11-03
- Reddit 实测：Gemini 3.8 Flash 20 分钟修完 4 个 bug 胜一众竞品 — Skibidirot · 2026-11-03
- Mistral Large 4 技术报告出炉：1T 总参 MoE，量化后 606GB 可跑 4 张 GB300 — _AndrewZhao · 2026-11-03
- Mistral Large 4 开放权重发布，主打代码代理与网络安全能力 — _AndrewZhao · 2026-11-03
- 中国开源模型正在吃掉市场？opencode 数据引发生成率之争 — yenkel · 2026-11-03
- AI Explained 周报:Altman 与 Amodei 暗示或发布无法控制的前沿模型 — AI Explained · 2026-11-03