orbench 登陆 Product Hunt:用自己的任务给 LLM 跑分
IgorCarron · x · 2026-10-29
LLM 评测工具 orbench 今天在 Product Hunt 上线。它是一款桌面应用,让开发者在切换模型前先在自己的真实任务上做基准测试:导入 CSV 或 Hugging Face 数据集,从 OpenRouter 选任意模型,用 AI 评分、盲测人工评审或两者结合来按自定义标准打分,而非依赖别人的公开排行榜。官方示例显示,旗舰模型 Claude Opus 得 8.6 分,而更便宜的模型 DeepSeek 得 7.2 分但单次成本仅为其 1/24。
「编程与Agent」频道最新
- GitHub Universe 后官方 Cookbook:上手 Copilot 新功能教程合集 — marlene_zw · 2026-10-29
- 四 人团队 Physera 招人:为多模态编码 Agent 造评测与训练基建 — himanshustwts · 2026-10-29
- 第三方应用复用 Claude 订阅撞上服务条款红线 — ZookeepergameOdd6078 · 2026-10-29
- Codex 子代理被指继承父上下文,Matt Pocock 修复 skills 仓库 — mattpocockuk · 2026-10-29
- 独立开发者自制 LLM 花费监控工具，异常用量自动告警 — WittyBoysenberry9860 · 2026-10-29
- Claude 自估 2028 年才能独立写 PR,开发者感叹模型进步快到模型自己都估不准 — felixrieseberg · 2026-10-29