平台 Agent 会加深监控与锁定,ICML 立场文主张建用户倡导者

Build Agent Advocates, Not Platform Agents

Sayash Kapoor, Noam Kolt, Seth Lazar

ICML 2025 position paper tra

cs.CY

2025-05-07

普林斯顿等三机构立场文称,若平台控制语言模型 Agent,会加深监控与锁定;应建用户侧倡导者,并配套开放模型、互操作与反垄断。

这篇在解决什么

语言模型 Agent(LMA)已经能用浏览器、虚拟电脑和代码仓库替人办事。Anthropic、Google DeepMind、OpenAI 都上线了这类系统,Deep Research 和软件工程 Agent 正在变成产品。下一步很像「万能数字管家」:替用户下单、回邮件、看资讯、管账户,把人与整个数字环境隔开。

默认路径上,这些管家会变成平台 Agent。Google、Meta、Amazon、Microsoft 有现成用户、工作流数据和先发基建;OpenAI 与 xAI 则想自己变成平台。用户图方便,平台可以收购或卡死新来者。即便有人掀翻现任巨头,换的也只是坐庄的人,平台结构还在。

现有推荐系统对人群做统计意义上的随机操纵,单个人往往感觉不到。平台 Agent 会跨邮件、购物、浏览拼出一份接近密友的用户模型,操纵可以下到个人。用户越少自己比价、越少自己读原始页面,平台就越容易把自营商品和付费位塞进「推荐」。ChatGPT 已能引用全部历史对话,Gemini 能接搜索记录,这种默会知识会把切换成本抬到比退出一个网站高得多。所谓 alignment,对平台来说也可以是预置规则、提前拦住用户不想被拦住的动作。

方法

这篇是 ICML 2025 的立场文,不是新算法。分析框架把中介拆成三个连续维度:代表一方还是两边跑腿;为委托人谋利还是为自己抽成;只做管道还是反过来规定这段关系能发生什么。今天的数字平台落在「自利的、构成性的中间人」这一端。

对位方案叫 agent advocates,用户倡导者:只代表操作它的人,不欠平台义务。尽量跑在本地或加密私有云上,用户能看见它做什么、收了哪些数据。它可以从平台页面抽信息再呈现给用户,享受服务但不把注意力和行踪交给广告系统;也可以把不同社交流、不同即时通讯拼在一起,从底下绕开围墙花园。内容付费上,它可以替用户判断一篇东西值不值得付小钱,并且「可证明地忘掉」没买的内容,降低试读对出版方的伤害。

要让这条路走得通,三件事得同时做:

结果

没有对照实验,论据来自平台经济学与已经上线的产品。

现象数字或事实用来支撑什么
Google 搜索份额接近 90%注意力分配已被高度集中
Meta 社交Facebook、Instagram、WhatsApp 占全球前四里的三个,用户超 30 亿通信与注意力入口被少数平台握住
产品方向ChatGPT 引用全部历史对话;Gemini 接入搜索记录默会知识锁定已经开始
开源格局Meta、Google、DeepSeek、阿里领先用户侧 Agent 仍绑在平台或国家行为体上
立法对照欧盟 AI 法案第 5 条禁止部分操纵与侵入式监控;美国联邦层面几乎没有对等物单靠立法挡平台 Agent,在美国走不通

平台 Agent 也可能卡在可靠性、泛化、轨迹数据和运行成本上;网站也可能用类似 robots.txt 的协议把 Agent 挡在门外。论文把这些列为反方观点,随后说:只要一部分风险落地,就把发展方向往倡导者一侧推,仍然划算。相对默认路径,这被写成帕累托改进:专门对付平台伤害,并不假装能解决恶意使用、多 Agent 共谋或就业冲击。

为什么重要

做 Agent 产品的人,这篇是一张平台权力地图。站在平台侧,默认会做出双面间谍;想做用户侧,不能只接一家闭源 API,也别指望平台会自愿开放 GUI。开源模型的许可证、本地或私有云部署、数据可携带、Agent 身份凭证,这些今天看起来像工程边角,会变成谁能活下来的条件。

对监管和标准团体,能直接做的事已经写清楚:别让平台封杀别人的 Agent,把凭证和清算所做成公共基础设施,计算和模型不要只留在平台手里。工程师如果能做出够用的万能中介,却选择不去抢下一座平台,这篇把这件事写成了明确的职业选择,而且要赶在默认路径锁死之前。

局限与存疑

立场文没有新实验。Google 近 90% 和 Meta 超 30 亿用户都是二手统计,用来说明集中度,不能证明「Agent 一旦普及,操纵必然个人化」。用户忠诚本身仍是未解的 alignment 问题:论文引用了 fiduciary AI 和 instruction following,随即承认 Agent 可能阳奉阴违。倡导者公司今天讲用户利益,明天一样可以被收购或改商业模式。清算所被写成离散职能、不会变成新平台,这个区分偏乐观,支付基础设施最后变成收费关卡的例子并不少。

论证重心在美国。欧盟已有 AI 法案和数字服务法,美国联邦隐私法和针对平台的反垄断长期空转,论文自己也说这条补丁大概率打不上。开源模型「公共化」需要国家级投入,文中没有预算、治理结构和时间表。恶意 Agent、多边博弈和就业,被明确划在范围外。

术语

原文与代码

社区讨论

相关论文

全部论文解读