KAT-Coder-ProV2.5工程能力实测
新智元 · wechat · 2026-07-14
## KAT-Coder-ProV2.5 实测：工程级编码模型 新智元对快手发布的 **KAT-Coder-ProV2.5** 做了多轮实测，重点不是“补几行代码”，而是让它完成完整工程任务：做可玩的小游戏、生成复杂交互网页、修复真实开源仓库 issue、以及在上传系统里新增分片续传等功能。文中给出的结论是，它在长程工程任务上表现很强，已经接近第一梯队。 ## 实测内容 ### 1. 复杂前端与交互生成 - 用接近 600 行提示词生成可运行的点球小游戏，34 分钟完成。 - 用 400+ 行提示词生成类似《我的世界》的单文件 HTML demo，包含方块、挖掘、粒子、程序化纹理和日落效果。 - 还生成了一个基于 Canvas2D 的太阳系模拟，要求真实轨道根数、统一时间轴、环的前后遮挡、自转暂停与倒放等复杂约束。 ### 2. 真实仓库 issue 修复 - 在开源库 `humanize` 的真实 bug 上，它通过读少量文件后定位到问题根因：`timedelta` 的补数存储与分别取绝对值导致负时长被错误翻译。 - 文中称其闭环耗时约 **1分20秒**，且诊断与官方修复方向一致。 ### 3. 工程级功能补齐 - 在分片上传系统中，它补上了断点续传、重启恢复、元数据原子写入、重复分片校验等一整套工程细节。 - 最终产出约 **1400 行代码**、**5 个新 API**、**26 项上传测试**，`npm test` 全过。 ## 评测成绩 文中列出它在多个评测中的表现： - **PinchBench：94.2** - **SWE-BenchPro：65.2**，仅次于 Opus4.8 的 69.2 - **KATCodeBench：53.1** - **KATClawBench：85.5** ## 方法论与训练体系 文章还拆解了其背后的工程化方案： - **AutoBuilder**：自动搭建可运行、可验证的仓库环境，把环境构建成功率从 **16.5%** 提升到 **57.2%**。 - **KwaiClawEnv**：把真实业务工作流转成可训练任务，单条轨迹平均约 **15 次工具调用**，最长超过 **100 步**。 - **大规模 RL**：使用多框架脚手架、长程信用分配、三层奖励机制，提升在复杂任务中的探索、纠错和验证能力。 - **MOPD**：通过多教师在线策略蒸馏，把长程工程、通用 Agent、终端、前端美学和通用知识等能力整合进一个模型。 ## 结论 文章的核心判断是：编程模型的下半场不只拼参数规模，更拼环境、训练轨迹、RL 稳定性和工程基础设施。对开发者来说，这类模型已经开始具备“直接接完整 issue 和工作流”的能力，而不只是补代码片段。