Prime Intellect 推出 IPO 掩码方案，修复 IcePop 在 SWE RL 中的崩溃
nrehiew_ · x · 2026-10-20
Prime Intellect 发布异步 RL 训练的新 token 掩码方案 IPO（INTELLECT Policy Optimization），并用它在困难设置（GLM-4.5-Air 上的 agentic SWE RL、64 步异步 off-policy）中做了验证。
问题背景：异步 RL 中 trainer 与推理引擎对同一 token 的概率永远有偏差。现有主流方案 IcePop 在概率比值超出固定区间时掩掉该 token，但比值判据会误判分布两端——稀有 token 从 0.01 涨到 0.06 是 6 倍比值却被掩（实际变化很小），高概率 token 从 0.90 跌到 0.20 比值仅 0.22 却被保留（实际策略变化巨大）。
IPO 做法：改用概率的绝对差而非相对比值作为掩码判据：|πtrain − πinfer| > ε。掩码是双边的、不依赖 advantage 符号、只有一个超参；判据源自 DPPO（Qi et al., 2026），但 IPO 把它用于 trainer–inference 失配而非 PPO 信任域，并替换掉了之前的 DPPO 默认 loss。
实测结果：IcePop 在约 1.2k 步时因 trainer–inference KL 暴涨超 20 倍而训练崩溃（solve rate 从 0.8 跌落）；IPO 全程稳定训练，仅掩掉约 0.25% 的 token。
所属事件:Prime Intellect 发布 IPO：修复异步 RL 尾部误判(2 条相关)→
「研究」频道最新
- 端到端稀疏字典学习:让 SAE 只学对网络真正重要的特征 — burny_tech · 2026-10-20
- 谄媚基准测试:GPT-4o 无理反驳下94.6%改口，Opus 5.5 仅32.2% — i_dg23 · 2026-10-20
- 纽约科学家造出超导神经芯片，每秒可处理百万核聚变等离子体样本 — Dr_Singularity · 2026-10-20
- NVIDIA 发布 VeriFine:策略与裁判共同进化的具身推理自我改进框架 — drmapavone · 2026-10-20
- AlphaGenome/CADD 预测致病变异,体内实验却显示零剪接效应 — danielmckinn0n · 2026-10-20
- 研究：六大 LLM 医疗建议过度检查率仅 5.4%，集中于心电图与甲状腺超声 — EricTopol · 2026-10-20