Vals AI:纸上更便宜的模型实际花销更高,团队月烧 150 万美元 token 后砍掉 90%
AI Engineer · youtube · 2026-10-30
Vals AI CEO Rayan Krishnan 在 AI Engineer 访谈中解释为什么模型卡上的单一分数会掩盖「锯齿状前沿」:
- 任务间最优模型不同:在税务、Excel LBO 建模等金融任务上,最好的模型随任务变化,没有全能冠军
- 便宜模型反而更贵:账面单价低的模型可能因多烧 token 而总成本更高、得分更低
- 基准构建经验:正确的准确性指标、reward hacking、多轮任务评测都很难做;agent 倾向于「解测试」而非「解问题」
- 真实案例:某团队一个月烧掉 150 万美元 token,靠内部评测把支出砍掉约 90%
- 企业最佳评测数据是自身工作历史:用公司真实历史任务做 eval,比公开榜单更能指导选型
「创投」频道最新
- Mintive 获 1100 万美元融资，让每个 AI Agent 拥有独立身份与权限 — socialwithaayan · 2026-10-30
- Domingos 暗讽:Anthropic 赶在 Claude Code 过气前完成 IPO — pmddomingos · 2026-10-30
- 团队获 Laude Institute 千万美元 Moonshot 大奖，打造开放健康 AI 基础设施 — irenetrampoline · 2026-10-30
- 美议员决议反对救助 AI 公司：今年 AI 借债或超 2008 年 7000 亿救市 — aakashgupta · 2026-10-30
- YC 发布新 RFP:挖金「气隙经济」,把前沿 AI 带进国防银行医院 — Y Combinator · 2026-10-30
- Semrush 新增 AI 可见度面板：AI Overviews 提及量达 7K 超 ChatGPT — gaganghotra_ · 2026-10-30