用 Qwen3-4B 做 RL harness 复现，测试从 TREC 32K 迁移到 256K
ben_burtenshaw · x · 2026-07-23
这是一个把论文思路拆成最小可复现实验的项目，核心问题是：harness 本身能否泛化。
- 作者用 Qwen3-4B、TRL GRPO 和 OpenEnv REPL 搭了一个尽量简洁的复现版本，目标是让大家能在单机单脚本里直接尝试。
- 训练数据是 TREC 32K，测试则看这种方法能否迁移到 TREC 256K 和 spam 128K。
- 他的思路不是完整复刻原论文，而是保留关键机制：
- 只在短上下文上训练；
- 长输入不放进主上下文；
- 通过 RL 学习“根分解”；
- 在更长或跨域输入上保持不变地评估。
- 后续回复补充说，这个版本还没做论文里的 trajectory-similarity 指标，属于“可玩、可改”的工作版复现。
所属事件:开发者基于 Qwen3-4B 构建 RL harness 可运行原型(2 条相关)→
「编程与Agent」频道最新
- Claude Code 用法心得：max 档做规划，xhigh 档做实现 — majidmanzarpour · 2026-10-27
- Chrome 团队详解 WebMCP：不是取代 MCP，而是让网站直接向 agent 提供工具 — rseroter · 2026-10-27
- Agent 绕过 UI 就能改已审批报销单?Agent-Native 框架要堵这个洞 — rseroter · 2026-10-27
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27
- Thorsten Ball 谈 Agent 工作法：多用评测、多上自动化、放手让 Agent 干 — omarsar0 · 2026-10-27