Signal65 新基准：一模型样本正确率 97%，完整任务却全军覆没
ryanshrout · x · 2026-10-30
Signal65 为 PINNACLE 推出自 8 月上线以来首次大升级——Coding Agent 独立测试，评估模型能否在一个从未见过的代码库中根据业务简报构建正确的软件，且以「每通过一个任务的价格」计费口径呈现结果。
测试设计：模型被投入陌生代码库，附带业务简报、7.4 万 token 文档和 7200 秒时限，要求构建软件；评分全靠跑代码——程序在 200 个未见样本上运行并重算每个答案，同时检查设计。
核心发现：
- 测试针对的正是工程团队都遇过的失败模式：代码能跑、能过自己的单元测试，但没领会系统「应该怎么表现」——现有只数单测通过数的基准看不到这一点。
- 一个托管模型 97% 的样本回答正确，但 30 个完整任务一个都没通过。
- 企业级最强模型未必是最好的编码模型，两个榜单在头部出现分化。
「编程与Agent」频道最新
- 东京 Agent 黑客松:40 名开发者 5 小时烧 5.8 亿 token 交付 20+ 项目 — DavidBennett__ · 2026-10-30
- Suno+Agent+ComfyUI 全流程:一人用本地 RTX 3090 做出万圣节 MV — Ok-Wolverine-5020 · 2026-10-30
- Agent 答错多半是检索问题：RAG 工具评分对比 — rcleffke · 2026-10-30
- 月提交1656次被讽 slop,CodeSandbox CEO 自嘲人设崩塌 — zeeg · 2026-10-30
- 把纠错存成 LoRA：Self-Direction 让 Agent GAIA 成功率 38.8%→55.8% — rohanpaul_ai · 2026-10-30
- 建筑投影师用 ComfyUI 节点包跑通灯光秀全流程,12GB 笔记本可跑 — Puzzled_Parking2556 · 2026-10-30