Mollick:基准测试多为短任务,经济价值藏在长程工作里
emollick · x · 2026-10-16
Ethan Mollick 指出,几乎所有模型基准测试都是单答案、短程任务,但大量有经济价值的工作是复杂的长程任务,小模型「够用的智能」未必总是够用。
他补充称,用小模型短期省钱可能以最终工作质量为代价;小模型并非不能做大量有价值的工作,但在很多任务上需要由更大的模型来编排和纠错,并附上相关论文链接。
所属事件:研究称模型长任务表现差异被低估，小模型省钱或损末端质量(3 条相关)→
「漫话AGI」频道最新
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16
- Yoav Artzi 谈顶会评审：投稿洪流仍在加大，中位段论文评审随机性最高 — yoavartzi · 2026-10-16
- Letta 创始人：要在由问题定义的领域工作，而非由方法定义的领域 — lateinteraction · 2026-10-16
- 研究者预测：纯数学家将大量涌入 AI 存在性风险讨论圈 — Dr_Atoosa · 2026-10-16
- 用模型输出增强下一代训练数据,RSI 其实早已开始 — akbirthko · 2026-10-16
- Luiza Jarovsky：AI 时代职业前景难测，家长建议孩子不如「做所爱之事」 — LuizaJarovsky · 2026-10-16