用强化学习教模型写代码作画,图像可像代码一样编辑
thomasahle · x · 2026-09-27
一篇毕业论文项目的复盘:作者 Surya Narreddi 与 Cameron Franz 用强化学习训练语言模型生成图像,但产物不是像素而是完整的 p5.brush JavaScript 代码草图——代码即作品,因此可以像改代码一样精细编辑,而不必反复改 prompt 重跑模型。
工作原理(四步循环,训练中重复数千次)
- 模型接收 prompt(如“画一幅桃色木槿水彩画”),写出完整的 JS 草图;
- 草图在沙盒 Puppeteer 环境中渲染为 PNG;
- 从人工评分的参考画池中随机抽两幅,由独立 judge 模型将渲染结果与参考画对比择优;
- 判断结果转为奖励信号,用 GRPO 更新模型,循环继续。
核心研究问题是“如何在创意/设计任务上做 RL”:奖励必须可验证才能工作,而审美质量既不对也不错。设计问题被转化为奖励函数与 judge 的评判标准——标准太严模型会收敛趋同,太松则漂移失控。非显然的取舍在于评什么、怎么评、参考池构成与系统 prompt 的写法。
「多模态」频道最新
- 动态模糊人像 AI 作品:暗调光影拍出胶片质感 — azed_ai · 2026-11-16
- 包豪斯功能主义风格 prompt 模板,一键出几何海报感 — LudovicCreator · 2026-11-16
- Vivix W1 视频模型升级:5 美元批量生成 100 条 10 秒广告视频 — Aiden_Tech_Ai · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Reddit 音频模型大盘点:开源 ASR/TTS/文生音乐 9 个月后再度征集 — rm-rf-rm · 2026-11-16
- 用 FLUX.2 klein 给 2D 游戏生成循环动画:掩码法可行但仍是 hack — emilrueh · 2026-11-16