Agent 框架基准测试：pi 优于 DeepSeek dsh
solyarisoftware · x · 2026-08-20
DeepAPI 对比了 DeepSeek 官方的 Agent harness (dsh) 与 pi 框架的性能。
- 测试规模：180 次受控运行，涵盖 3 个模型和相同任务集。
- 成本对比：在 3 个模型中的 2 个上，dsh 的成本高于 pi。
- 原因分析：差异主要在于往返次数，dsh 约需 11 次 API 调用，而 pi 仅需 8.5 次（基于 DeepSeek V4 Pro）。
- 意外发现：dsh 唯一胜出的模型是 Kimi K3，而非其自家的 DeepSeek。
注：DeepSeek V4 Pro 运行在 GMICloud fp8 上，非官方 API。
「编程与Agent」频道最新
- 设计反馈工具 Inflight 发布:让 Claude 直接消化原型反馈 — soleio · 2026-10-16
- Apple 代码签名耗时数小时,官方建议:等一周 — pjausovec · 2026-10-16
- 4B 模型加 8K 上下文堆算力反而更差，Hermes 提出上下文推理新思路 — mangahomanga · 2026-10-16
- Flux 3 Klein 默认模板有坑:必须接 prompt upscaler 才能出好图 — StrictMove5839 · 2026-10-16
- 21 人团队 AI 写 97% 代码,每周数百 PR,16% 自动合并 — rseroter · 2026-10-16
- ClosedMCP:一次配置 MCP,跨平台团队共享的 Serverless 方案 — Ok_Sprinkles1301 · 2026-10-16