CoEvolve 让 9B 模型定位媲美 241B:构造-编辑后训练范式详解
青稞AI · wechat · 2026-10-12
青稞AI 解读视觉指代定位论文 CoEvolve,核心洞察是「流畅的语言描述不等于准确的视觉定位」,模型能说清相对位置却仍框错区域。
方法:提出「构造—编辑」后训练范式,把强化学习用于组织显式区域轨迹,再训练编辑器修正坐标。
- RER(区域演化强化):每步推理输出候选框,形成「语义解释+区域坐标」轨迹,RL 同时评价结构、空间进展与最终定位,无需人工标注推理链
- BDR(双向去噪精修器):读取完整轨迹,以推理文字为固定语义上下文,原位同步预测坐标修改,并用「相对编辑效用」偏好损失区分有益与有害修改
结果:9B 主干在 RefCOCO 系列八个划分平均 [email protected] 达 92.41%,与总参数 241B 的 InternVL3.5-A28B(92.39%)相当;在三万余个受控扰动框上,一轮编辑将平均 mIoU 提升 27.4 个百分点,修复近 88% 未达标框。
启发:对动作参数、代码补丁等可结构化编辑的输出,可训练「可供编辑的状态」,学习相对输入的修正效用,并以状态与编辑器的组合表现评价系统。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸:10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕:Science 撤回关注声明,结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam:一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲:AI 气象模型胜超算,但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练,较基线提升 64 倍 — AndrewLBeam · 2026-10-23