开源 RoastMyHarness: 用 DeepSWE 跑分检验你的 Pi 自定义工具

AnotherObsceneBean · reddit · 2026-09-13

Reddit 用户开源了 RoastMyHarness(https://github.com/sij0sh/roastmyharness),一个用于评测自定义 Pi agent 配置的小工具:它搭建环境跑 DeepSWE benchmark 任务,以裸 Pi 为基线,对比你的 harness、扩展、skill 或 AGENTS.md 改动,输出哪些提升了、哪些坏了、token 成本如何。作者还写了一个向导式 Pi 扩展来帮你配置。他提醒:想赢过裸 Pi 的任务质量/token 效率比想象中难。作者自述是数据分析出身的 vibe coder,目前仅测试于 Linux,项目仍是 WIP。对做 agent 工具/harness 的人是现成的 eval 基础设施。