Google 发布 T2J-Bench：编程 agent 迁移 PyTorch 到 JAX 仅得 0.676 分
CShorten30 · x · 2026-10-20
Google 研究者推出 T2J-Bench，测试编码 agent 能否把完整 PyTorch 仓库迁移为原生 JAX/Flax 且行为不变：
- 任务规模：63 个整仓库迁移任务，覆盖 18 个模型家族，包含基础模型训练（SFT/DPO/PPO）与推理服务两大类
- 评测方式：每个任务提供源码与原始 checkpoint，agent 产出无 torch 依赖的 jaxrepo/，由离线验证器从规格、数值（参数/损失/梯度）、端到端行为三层比对冻结参考实现，给连续奖励
- 结果：最强现成配置仅达 0.676 奖励（参考 JAX oracle 为 0.980），说明「能跑起来」远不等于迁移成功
- TwinHarness：基于参考实现的迁移循环，把奖励从 0.649 提到 0.723（相对提升 11.4%）
代码与项目页已在 GitHub 开源（Apache-2.0）。
「编程与Agent」频道最新
- 评估工程研究者预告主观任务 eval 指南，附全套参考资源清单 — cwolferesearch · 2026-10-20
- 构建持久化 Agent：为什么记忆是你该自己掌握的智能栈 — omarsar0 · 2026-10-20
- Mintlify 推出 Autopilot Beta：常驻文档 agent 随代码提交自动更新文档 — ycombinator · 2026-10-20
- 10 个「像泄密未来」的 GitHub 项目：Rust 修图、SSD 流式跑大模型 — Shruti_0810 · 2026-10-20
- MCP 隐形字符检测器被反例攻破后，作者公开修正方案 — blitzcrieg11 · 2026-10-20
- 按工具名管 MCP 权限不够：有人做了参数级规则开源实现 — radim11 · 2026-10-20