投 100 万美元建公开基准,labs 会砸 1 亿美元去刷它
_jasonwei · x · 2026-11-20
Mercor CEO Brendan Foody 提出一个观察:只要投入约 100 万美元建设一个公开基准,各大模型实验室就会投入超过 1 亿美元去 hillclimb(针对性刷分)。他与 Harvey、Cognition、Sierra、Ramp 等公司共建的多个公开基准,在过去 6 个月里见证了模型成绩的惊人提升。
前 Google 思维链论文作者 Jason Wei 引用并延伸道:当 AI 能优化一切我们能量化的东西时,未来几年价值创造将很大程度来自「发明衡量世界的新方式」——基准本身正在成为一种投资标的和产业。
「漫话AGI」频道最新
- Garry Tan 力挺 Bostrom「不造 AGI 则皆死」论,呼吁认真对待《Deep Utopia》 — garrytan · 2026-11-20
- 预测者估计:2028 年前 OECD 国家发生周级大停电的概率达 33% — NathanpmYoung · 2026-11-20
- Sentinel 研究简报:按当前增速外推,网络末日并非不可想象 — NathanpmYoung · 2026-11-20
- Google 研究员 ibab:人类公地炼成模型,就该把开源权重还给公地 — ibab · 2026-11-20
- 斯坦福团队 NeurIPS 论文:类比推理破 LLM 科学创意模式坍缩 — james_y_zou · 2026-11-20
- 创业者自述「LLM 套利」:一天揪出对手方 17 处错误 — StewartalsopIII · 2026-11-20