Epoch 用日常任务实测各模型实用性:比基准分数更有说服力
Jsevillamol · x · 2026-11-18
研究机构 Epoch 的 Greg Burnham 分享了公司在内部日常工作中实测各 AI 模型实用性的结果,认为这比典型的 benchmark 分数更能说明哪些模型真正有用。
- Epoch 正在把这套做法推广到全机构的更多任务上,涉及权限、集成、评分等大量配置工作——这些正是当前 AI 还做不了的部分
- Burnham 指出这种「任务级实用评测」对追踪 AI 能力边界是核心工作,并好奇有多少普通公司也如此前瞻地采用 AI
提供一个企业侧视角:比起跑分,真实工作任务的实测结果更能反映模型价值。
「公司和人」频道最新
- Stratechery:英伟达财报无聊却是宣言,微软与 Anthropic 对打 AI OS — Stratechery · 2026-11-18
- TCS 学界发布声明:招聘重质量轻数量,抵制 AI 论文军备竞赛 — fortnow · 2026-11-18
- 因50万美元加薪谈崩,Call Her Daddy 双主播散伙,Spotify 后以6000万美元买下 — aakashgupta · 2026-11-18
- FT 起底黄仁勋家族与英伟达新加坡交易,争议升级 — basedjensen · 2026-11-18
- 热评:黄仁勋接班人布局背后的东亚供应链关系网逻辑 — minhnguyen · 2026-11-18
- Modal 创始人 Slush 对谈:精英密集团队哲学与 LLM 时代推理未来 — graceisford · 2026-11-18