OpenAI 发布 LifeVal 基准:169 个真实生活任务,对应 1.7 万亿美元需求
dair_ai · x · 2026-11-05
OpenAI 发布 LifeVal 基准(arXiv:2611.06687),评测 AI 在个性化日常消费任务上的代理能力。
- 调研 3837 名美国消费者,按「愿意付费让数字助手代办」对 148 类生活任务排序,合计年支付意愿超 1.7 万亿美元
- 从中选出最有价值的任务做成 169 个 agent 任务:管理财务、搬家、找工作、找育儿保姆、订机票等
- 每个任务由真实做过该任务多次的人编写,使用其本人的 ChatGPT 对话记录、记忆和文件作为个性化上下文,附评分 rubric、工作环境和离线网页副本,经三轮人工质检
- 成绩从 GPT-5.2 到 GPT-6 Astra 稳步上升;所有模型最常见的失败是给出错误答案/建议,多因遗漏藏在用户过往聊天里的事实
「模型」频道最新
- 复现 MIT 权重空间编程：GPT-6.1 超 PPO 基线 21 倍，开源模型全部落败 — burny_tech · 2026-11-05
- AI 研究者呼吁自建智能栈：GPT/Claude 误拒频发，开源是唯一出路 — omarsar0 · 2026-11-05
- 博主实测:Opus 5.5 画技术图表的水平让它又爱又恨 — helloiamleonie · 2026-11-05
- 知名 AI 学者抱怨 GPT/Claude 误拦频发：开源模型是唯一出路 — omarsar0 · 2026-11-05
- 开发者吐槽：不信真有人把 Opus 5.5 当主力模型，用起来太气人 — justalexoki · 2026-11-05
- 博主实测：开源模型复杂编码任务常半途放弃 — zyxciss · 2026-11-05