Hamel Husain:企业选模型该靠自己的私有评测,而非第三方跑分
HamelHusain · x · 2026-11-09
知名评测专家 Hamel Husain 参与关于「评测军工复合体」的讨论,核心观点:人们过度依赖第三方基准来决定选哪个模型,正确做法是针对自己的产品和具体任务做更多私有评测。
他指出当前基准生态失衡:公开基准对大实验室和研究的价值远大于对终端用户,而从中获利的机构存在误导消费者的营销与传播问题;诚实的基准建设很难,不诚信的 benchmaxxing 会伤害独立评测机构的工作。
所属事件:Hamel Husain:企业选模型应靠私有评测而非第三方跑分(3 条相关)→
「编程与Agent」频道最新
- 商店 API 成功劝退购物 Agent 一笔 $149 订单,零人工介入 — schwentker · 2026-11-09
- 为 Agent 而生的 3D 引擎 Vork:渲染比 Blender 快 24 倍 — ravisparikh · 2026-11-09
- 实测:用 Claude Opus 驱动 Vork 引擎渲染 1000 个 Clawd — ravisparikh · 2026-11-09
- Claude/Codex 额度用光后,他自建 vLLM 本地跑 Qwen 模型供 Agent 使用 — alfcnz · 2026-11-09
- OpenAI 联创 iamtrask 透露正做 agent 间发现与 map-reduce 协议 — iamtrask · 2026-11-09
- AGI House 个人智能体黑客日:主打本地推理与每瓦智能 — agihouse_org · 2026-11-09