小红书 AllSpark 提出 PACT：用唯一信用分配改造 Critic，SWE-bench 达 67.4%
小红书技术REDtech · wechat · 2026-09-29
小红书 AllSpark 团队发布论文 PACT（Policy-Aligned Critic Training），从数学上刻画强化学习中的信用分配（Credit Assignment）问题，并据此改进 LLM Agent 的 RL 训练。
理论贡献
- 提出三个正则条件——完整性、前缀一致性、中立性——证明满足这些条件的信用分配存在且唯一，形式为对最终奖励条件期望的逐步变化。
- 由此统一解释三种训练现象：OPD 的教师可视为隐式 Critic；RLOO 的响应级优势虽非 Token 级 Credit，但产生的期望梯度与之相同；GAE 中的中间 Critic 误差会干扰优势估计，取 λ=1 可消除。
算法改进（PACT）
- 用 BCE 替代 MSE 回归有界 Value，收敛更快、误差更低。
- 采用 Actor-Then-Critic 顺序，先用新策略概率对 Critic 训练做重要性采样修正，使 Critic 跟上更新后的策略。
实验结果
- Qwen3.6-35B-A3B 在 OpenSWE 上训练，SWE-bench Verified 达 67.4% Pass Rate，较 GRPO 高 2.0、较 SAO 高 3.8 个百分点。
- Qwen3.5-4B 在四个数学基准上平均准确率 72.87%，较 GRPO 提高 8.80 个百分点；消融显示去掉 Critic IS 修正平均掉 5.13 个百分点。
论文：arxiv.org/abs/2609.26355，代码已开源。
「研究」频道最新
- 开发者把 100 种重磅药物的作用机制映射到 3D 靶点结构 — CatAstro_Piyush · 2026-10-24
- 特征向量相加出现「军犬」行为，研究者展示模型身份混淆 — voooooogel · 2026-10-24
- 自研 700 万参数模型塞进 RTX 4090 片上缓存，训练提速 3.6 倍 — dejanseo · 2026-10-24
- 论文把 LLM 传播建模为「认知病毒」：越过临界点后依赖难以逆转 — 2C_ornot2C · 2026-10-24
- Ramdas 与 Wang 的 e-value 假设检验专著：390 页统一框架，可作研究生教材 — _onionesque · 2026-10-24
- 两行 steering 让 Qwen3.5-4B 变 evil,完整配方公开 — CatAstro_Piyush · 2026-10-24