4700 次盲评:DeepSeek/GLM 加自定义 harness 追平 Claude Code 设计质量
JannVanDam · reddit · 2026-10-30
作者为社交/营销/印刷设计场景打造了名为 Rivermark 的 agentic harness,并用 112 条小企业设计请求、4700+ 次成对盲评(Bradley-Terry 排名)做了对比测试。
核心发现
- 开源模型 DeepSeek v4.1 Flash 与 GLM 5.3 Flash 配 Rivermark(得分 0.56/0.57)持平或超过裸 Claude Code + Sonnet 5.5(0.51)
- Rivermark + Claude Sonnet 5.5 以 0.73 大幅领先,连「更聪明」的模型都能从 harness 中获得超预期提升
- 对照组:pi harness + DeepSeek 仅 0.47,pi + GLM 5.3 FlashX 仅 0.30,说明提升主要来自 harness 而非模型
注意事项
- 该 harness 内含设计领域知识、针对产品 rivermark.ai 的快速迭代优化(用更快但更贵的 GLM FlashX 端点),非通用 agent
- 作者计划开源,但目前与产品耦合较紧
结论:harness 注入领域知识能让便宜模型以零头成本逼近旗舰效果,博客与更多评审验证进行中。
「编程与Agent」频道最新
- 开发者用电话 Agent 做竞品研究：一通电话拿到对手投得最久的广告 — fekdaoui · 2026-10-30
- 播客观点:代码全由 agent 写的时代,风险正被转嫁给客户 — julianweisser · 2026-10-30
- AI 把模糊变成一条 PR 之后，配置管理成了人类判断的最后阵地 — IgorBrigadir · 2026-10-30
- 开发者实测 OAI Dot/Astra 端到端跑完棋类模型研究项目：我的工作只剩排期和决策 — andreisavu · 2026-10-30
- Kimi K3.1-Pro 实测：前端与 3D 国模最佳，后端 Agentic 编码反遭翻车 — karminski3 · 2026-10-30
- Mintlify 推出 Base 测试版：面向人机协作的文档工作区 — handotdev · 2026-10-30