Cursor 与 UC Berkeley 提出定向引导，让 RL 教会模型从 0 到 1 的新行为
burny_tech · x · 2026-11-05
Cursor 与 UC Berkeley（Kevin Frans、Alexander Rush、Sergey Levine、Pieter Abbeel、Ashvin Nair 等）发布论文《Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning》，登上 alphaXiv 热榜第一。
要解决的问题：传统 on-policy RL 只能强化模型已有的行为；当正确行为在 base model 的采样中几乎从不出现时，奖励只能告诉模型「失败了」，却无法告诉它「怎么做对」。
方法（Targeted Guidance）：
- 用文本反馈向模型展示如何纠正特定错误
- 让模型模仿自己「被反馈修正后的预测」，但只在失败的回合上进行（on-policy 自蒸馏）
- 同时继续标准 RL，保证已有能力不退化；论文还分析了保持熵稳定、减少训练震荡的设计选择
效果：在 Qwen3-Coder-30B 的多轮软件工程环境中，Markdown 格式遵从率从 0% 提升到 85%，同时编码任务成功率保持 33%，与原 RL 基线持平——即在不牺牲既有能力的前提下教会了全新的工具使用行为。
「编程与Agent」频道最新
- Gradium Phonon 加 SurrealDB 记忆:全程端侧的语音笔记研究 Agent — mattturck · 2026-11-05
- Tech SEO Connect 演讲:webIQ 给模型的证据对象强调新鲜度信号 — VeryWellVersed · 2026-11-05
- 论文：把推理历史改写成压缩状态记录，可降 Agent 后续 token 成本 — Anton Hristov · 2026-11-05
- KernelSeek：靠“提问”而非堆工具的编码 Agent，1.13× 跑赢 FlashAttention-3 — Snowflake · 2026-11-05
- 开发者推出 Orbit:一个应用托管 Claude Code/Codex/Grok 多账号并行 — Available-Ganache-71 · 2026-11-05
- 别再让 Claude「写代码」:8 条资深工程师级提示词模板 — aitrendz_xyz · 2026-11-05