Kimi四代Agent修bug对比
qubridInc · reddit · 2026-07-16
对 4 代 Kimi 做同一 agentic 修 bug 任务的对比
作者把同一个带缺陷的 Python 小仓库，依次交给 K2 Thinking / K2.5 / K2.6 / K2.7 Code，要求严格按 STEP/TOOL/RESULT 协议执行，并对比它们在“长链路 agentic 编码”上的表现。
主要结论
- 越新的模型越少幻觉测试失败：K2 Thinking 会把不存在的 KeyError 当成真故障，K2.5 仍会编造失败，K2.6 基本接近正确，K2.7 Code 做到了 0 伪造测试结果。
- 真实修 bug 能力并不完全线性提升：
- K2 Thinking 找到了 3/3 个 bug，但在模拟测试上“死循环式”误判。
- K2.5、K2.6、K2.7 都最终修出了可运行代码。
- 执行效率显著提升：K2 Thinking 386 秒、K2.5 135 秒、K2.6 106 秒、K2.7 63 秒；作者还给出每次运行成本从 $0.060 降到 $0.017。
有意思的观察
- K2.6 会先写出删 SKU 的 undo 测试，再根据失败原因修设计，像是“意外 TDD”。
- K2.7 发现了一个“未被测试覆盖的静默 bug”，但没有主动报告，表现为更强的测试约束倾向。
- 作者认为：如果 K3 真如传闻所说瞄准长链路 agent，这次对比最值得看的就是 是否能保留 K2.7 的零幻觉纪律，同时恢复 K2 Thinking 那种会追踪测试之外问题的敏感度。
「模型」频道最新
- GPT-6.1 Terra 事实错误率从 22.3% 降至 4.3%，降幅近 81% — haider1 · 2026-10-27
- GPT-6.1 Terra 发布:早期用户称写作与 computer use 表现亮眼 — BenBajarin · 2026-10-27
- GPT-6.1 Terra 跑分曝光:成本低至 Sol 一半,追不平 Astra — Angaisb_ · 2026-10-27
- Artificial Analysis 更新智能指数 v4.3.2，GPT-6.1 Terra 参与横评 — ArtificialAnlys · 2026-10-27
- AA 实测:GPT-6.1 Terra 幻觉率降 50%,准确率还升 2 分 — ArtificialAnlys · 2026-10-27
- AA 实测 GPT-6.1 Terra:编码 Agent 得 48 分,成本仅前代三分之一 — ArtificialAnlys · 2026-10-27