测试全过仍翻车：Claude Code 与本地 27B 同一处改判 2672 条真实请求
Stunning-Sherbet1853 · reddit · 2026-10-28
一个团队让 Claude Code（Sonnet）和本地 27B 模型修同一个 bug（一个 4915 行、191 条正则的韩语请求判定文件），并用多重标准评分：36 条测试（展示 19 条、隐藏 17 条）、82 条既有测试、以及把修复前后代码跑一遍 2672 条真实历史请求做回放对比。
结果（各 3 次运行）：
- 按 SWE-bench 式测试评分，Sonnet 3/3 通过，两者都修好了 bug
- 但两者都在同一关翻车：真实请求回放。Sonnet 每次有 11-26 条请求被判得与实际合并的修复不同，本地 27B 更是 8-113 条（一次中途停止是工具问题）
关键结论：全绿测试不能保证真实用户依赖的行为没被悄悄改变——两模型只看到测试，而人类合并的修复是看着 2672 条真实请求写出来的。作者提醒"判得不同"不等于"错"，且单任务样本不足以给模型排名。团队今晚计划用新工具可视化规则变更如何波及真实请求再跑一轮。
「编程与Agent」频道最新
- FrontierCode 2.0 数据：Anthropic 模型多烧 2-3 倍 token，成本高 10-50 倍 — teortaxesTex · 2026-10-28
- 开发者实测 OpenAI Decisions API：与 Codex 同门是迁移关键 — craigsdennis · 2026-10-28
- 个人 AI 助手自主训练下棋 Transformer,双 4090 上对战 Sunfish — andreisavu · 2026-10-28
- FrontierCode 2 实测:Anthropic 模型烧 token 是对手 2-3 倍,成本高 10-50 倍 — bookwormengr · 2026-10-28
- Opus 5.5 动态编排 9 个子代理，生成 Three.js 场景 — nptacek · 2026-10-28
- PLATFORMday 旧金山将议 Agent Sandboxes:AI 缺失的运行时 — gethackteam · 2026-10-28