KAT-Coder-ProV2.5工程能力实测
新智元 · wechat · 2026-07-14
KAT-Coder-ProV2.5 实测：工程级编码模型
新智元对快手发布的 KAT-Coder-ProV2.5 做了多轮实测，重点不是“补几行代码”，而是让它完成完整工程任务：做可玩的小游戏、生成复杂交互网页、修复真实开源仓库 issue、以及在上传系统里新增分片续传等功能。文中给出的结论是，它在长程工程任务上表现很强，已经接近第一梯队。
实测内容
1. 复杂前端与交互生成
- 用接近 600 行提示词生成可运行的点球小游戏，34 分钟完成。
- 用 400+ 行提示词生成类似《我的世界》的单文件 HTML demo，包含方块、挖掘、粒子、程序化纹理和日落效果。
- 还生成了一个基于 Canvas2D 的太阳系模拟，要求真实轨道根数、统一时间轴、环的前后遮挡、自转暂停与倒放等复杂约束。
2. 真实仓库 issue 修复
- 在开源库 humanize 的真实 bug 上，它通过读少量文件后定位到问题根因：timedelta 的补数存储与分别取绝对值导致负时长被错误翻译。
- 文中称其闭环耗时约 1分20秒，且诊断与官方修复方向一致。
3. 工程级功能补齐
- 在分片上传系统中，它补上了断点续传、重启恢复、元数据原子写入、重复分片校验等一整套工程细节。
- 最终产出约 1400 行代码、5 个新 API、26 项上传测试，npm test 全过。
评测成绩
文中列出它在多个评测中的表现：
- PinchBench：94.2
- SWE-BenchPro：65.2，仅次于 Opus4.8 的 69.2
- KATCodeBench：53.1
- KATClawBench：85.5
方法论与训练体系
文章还拆解了其背后的工程化方案：
- AutoBuilder：自动搭建可运行、可验证的仓库环境，把环境构建成功率从 16.5% 提升到 57.2%。
- KwaiClawEnv：把真实业务工作流转成可训练任务，单条轨迹平均约 15 次工具调用，最长超过 100 步。
- 大规模 RL：使用多框架脚手架、长程信用分配、三层奖励机制，提升在复杂任务中的探索、纠错和验证能力。
- MOPD：通过多教师在线策略蒸馏，把长程工程、通用 Agent、终端、前端美学和通用知识等能力整合进一个模型。
结论
文章的核心判断是：编程模型的下半场不只拼参数规模，更拼环境、训练轨迹、RL 稳定性和工程基础设施。对开发者来说，这类模型已经开始具备“直接接完整 issue 和工作流”的能力，而不只是补代码片段。
「编程与Agent」频道最新
- Warp 六个非工程团队全用 Linear 和 Claude Code 工程化运作 — mon__lim · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- Anthropic 研究员:99% 工程师已跑 300+ 自改进 agent 群 — AlishaOutridge · 2026-09-11
- Gergely Orosz 观察:AI Agent 提速十倍交付,却带来一堆小退化 — ducha_aiki · 2026-09-11
- 同题 Echo Maze 实测:三大模型看似成功,代码里藏着同一个 bug — eyishazyer · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11