便宜模型写码+前沿模型审 diff:66 任务达到旗舰水平,成本仅 1/16

KrystalUnity · reddit · 2026-11-11

作者提出 Krystal Loop Protocol:便宜模型在沙盒里写代码,测试跑完后只请一家不同厂商的前沿模型审查最终 diff(审查只需看任务+diff+测试输出的小包,每次约 1.5 美分)。关键规则:审查者不能凭感觉说不对,必须写一个能证明 bug 的测试——测试失败才算真 bug,修复后再审查,直到干净或达上限。

CooperBench 66 个真实任务(模型看不到的隐藏测试评分)结果:

作者诚实承认:便宜模型单干已很接近,审查只多解决 0–2 题;真正的收益是价格而非分数——最好一轮审查用失败测试实锤 77 个真 bug、修掉 70 个,且从不弄坏已能运行的代码。

多 agent 冲突场景更有价值:30 对可能冲突的功能,普通 git merge 只成功 2 对;两个 agent 通过简短结构化消息交接做到 28 对,每对约 10 美分(聊天式协作同样 28 对但耗 581 次调用 vs 333 次);单个旗舰模型从头做两个功能只得 22 对,$0.196,近两倍成本。

审查者也可用已订阅的 CLI:Gemini、Kimi、Grok、Qwen 审查相同产出,成绩彼此相差 2 题以内,Gemini 与按量计费的前沿审查完全持平(56 题),API 等价花费不到 3 美分/题。

所有数字可从公开 receipts 无密钥复算(python3 -m bench.verify),重跑整个循环约 $3。作者求吐槽:66 题够不够、真实仓库会不会翻车、本地模型当 builder 是否也能守住分数。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →