Apple 推出 iPrefBench:130 项欠指定任务评测个人 agent 的提问分寸

hhsun1 · x · 2026-11-03

Apple 实习生 yutingning 与团队发布 iPrefBench,一个以用户为中心的个性化移动 agent 基准,核心考察 agent 能否「该推断时推断、该问时才问」:比如订餐厅只需说「明晚老地方订个位」,好 agent 应从历史推断出是哪家店,只问真正只有用户知道的信息(时间、人数),既不瞎猜也不反复盘问。

基准包含 26 个 iOS 应用中的 130 个欠指定(underspecified)任务,并以包含 3,051 条历史活动事件的连贯用户画像作为推断依据。作者指出,让个人 agent 正确完成任务的同时把握好提问时机,仍是很大的挑战。