便宜模型写码+前沿模型审 diff:66 任务达到旗舰水平,成本仅 1/16
KrystalUnity · reddit · 2026-11-11
作者提出 Krystal Loop Protocol:便宜模型在沙盒里写代码,测试跑完后只请一家不同厂商的前沿模型审查最终 diff(审查只需看任务+diff+测试输出的小包,每次约 1.5 美分)。关键规则:审查者不能凭感觉说不对,必须写一个能证明 bug 的测试——测试失败才算真 bug,修复后再审查,直到干净或达上限。
CooperBench 66 个真实任务(模型看不到的隐藏测试评分)结果:
- gpt-6-astra 单干:56 题,$0.721/题
- gpt-6.1-sol 单干:56 题,$0.123/题
- deepseek-flash 单干(3 轮):54–57 题,$0.014–0.027/题
- 循环(deepseek-flash 写 + gpt-6.1-sol 审,3 轮):54–59 题,$0.046–0.061/题
作者诚实承认:便宜模型单干已很接近,审查只多解决 0–2 题;真正的收益是价格而非分数——最好一轮审查用失败测试实锤 77 个真 bug、修掉 70 个,且从不弄坏已能运行的代码。
多 agent 冲突场景更有价值:30 对可能冲突的功能,普通 git merge 只成功 2 对;两个 agent 通过简短结构化消息交接做到 28 对,每对约 10 美分(聊天式协作同样 28 对但耗 581 次调用 vs 333 次);单个旗舰模型从头做两个功能只得 22 对,$0.196,近两倍成本。
审查者也可用已订阅的 CLI:Gemini、Kimi、Grok、Qwen 审查相同产出,成绩彼此相差 2 题以内,Gemini 与按量计费的前沿审查完全持平(56 题),API 等价花费不到 3 美分/题。
所有数字可从公开 receipts 无密钥复算(python3 -m bench.verify),重跑整个循环约 $3。作者求吐槽:66 题够不够、真实仓库会不会翻车、本地模型当 builder 是否也能守住分数。
「编程与Agent」频道最新
- KAIST 发现记忆会让 Agent 翻车,WikiTrace 用证据链接降 10.7 分差距 — dair_ai · 2026-11-11
- 开发者预判:未来 1–2 年推理速度将成为 AI 产品最大竞争力差距 — itsOmSarraf_ · 2026-11-11
- 把向量检索搬进 Snowflake SQL:一次告别外部 RAG 编排的实践复盘 — dima806_dima · 2026-11-11
- OpenAI 工程师让 Codex 连跑 26 天搜索亚特兰蒂斯,「氛围考古」诞生 — Polymarket · 2026-11-11
- Edward Hughes:为 AI 科学家手搓的 harness 约 3 个月后即过时 — Machine Learning Street Talk · 2026-11-11
- 用 11 个 Claude Skills 替代月薪 $5000 代笔,一条帖子赚 $47,000 — aryanXmahajan · 2026-11-11