HERMES：每个文件配一个 AI，小模型跑本地也能解题 94.2%
alex_verem · x · 2026-10-12
伊利诺伊大学与宾州州立大学提出编码系统 HERMES：给代码库中每个文件配一个常驻 AI 模型，各管各的文件；改动时主动通知依赖它的文件。另设两个职责：一个模型挑选任务涉及的文件，另一个根据测试失败定位责任文件。
实验中，文件级编辑交给 Qwen3-8B（用 Ollama 在自己 GPU 上跑），规划与诊断两个岗位用 GPT-5.6 Sol，该组合在 SWE-bench Verified 解题 94.2%（GPT-5.6 Sol 全包为 97.0%），四个基准差距均在 4.5 分内，Terminal-Bench 4.0 上混合方案成本省 26.2%。全部用 Qwen3-8B 也能解决 500 个真实 GitHub issue 的 80.6%，每题仅 $0.13。
作者的关键观察：系统架构（harness）对结果的影响超出预期——同一模型 GPT-5.6 Sol 在 Codex 里做全仓库迁移只拿 6.5%，放进 HERMES 则达 31.0%，四个基准平均比标准 agent 设置高 12.4 分。代价是同模型下 HERMES 单题花费更高（SWE-bench 上 $1.80 vs $1.15），但贵模型只需做规划和诊断，编辑可以交给自托管的小模型。
所属事件:HERMES 系统让每个代码文件拥有专属 AI 模型(2 条相关)→
「编程与Agent」频道最新
- 本地 VLM 自动给 5600 个 LoRA 写卡片，作者开源编目与推荐工具 — EricRollei · 2026-10-12
- 腾讯元器智能体平台11月9日停服，在平台上创业的开发者遭殃 — sujingshen · 2026-10-12
- Blender MCP 工作流翻车？zeeg 实测改用 Tripo 生成 3D 效果更好 — zeeg · 2026-10-12
- 「不想看代码,只想看状态机」:一张巨型状态机图引工程师共鸣 — _AustinCalvert_ · 2026-10-12
- VectorDash:用 EmbeddingGemma 2 替换 Windows 搜索 — andy2na · 2026-10-12
- 用 AI 智能体逆向工程并打补丁游戏:字节级比对验证输出正确性 — arpit_bhayani · 2026-10-12