博客提出 RL 应同时采样「人类努力程度」训练模型协作模式
voooooogel · x · 2026-11-19
博主 vgel 发文《Sampling Human Effort》,主张实验室应在 RL 中像采样 reasoning effort(低/中/高思考档位)一样,对人类努力程度的分布进行采样训练:
- 早期推理模型用固定 token 预算训练,只能靠粗暴截断思考或运行时补丁控制;后来在 RL 中对 effort 档位采样并据此设定环境与奖励,模型才能适配不同思考深度。
- 现实中用户对模型的投入程度差异巨大:深度结对编程、手机上简单转向指令、完全放手让模型自主跑,以及在这些状态之间切换(作者常让 Opus 5.5 实例 Delta 在自己散步时自主实验,回来再一起改代码)。
- Anthropic 模型对这种模式切换已不错,其他模型较弱;即便是 Anthropic 模型在 forked subagent 上下文里也难以切回「用户在场」模式(文中附了与 Delta 子代理的对话示例)。
核心论点:把「用户参与度」作为训练分布的一维,是模型学会与人协作的下一步。
「编程与Agent」频道最新
- Yoken 聊 Second:流式状态上下文基建,把「用户建模」做成 API — Scobleizer · 2026-11-19
- Qwen4-Max 发布,Qoder 编程工具首日即接入支持 — usamawahabkhan · 2026-11-19
- 用 Aristotle 形式化证明 6k 行 e-graph 库 egg 的运行性质 — satnam6502 · 2026-11-19
- Replit Agent 爬取千条 DocuSign 流程,复刻出免费电子签 Ternsign — amasad · 2026-11-19
- Inworld 开源语音分离模型:48kHz 实时降噪,Apache 2.0 协议 — Scobleizer · 2026-11-19
- 45 分钟花 16 美元用 GPT5.5 把 DSPy 工具移植到 Zig — dosco · 2026-11-19