Humanity's Last Choice: A Common Evaluation Standard for Generative Engine Optimization
Qianfeng Wen, Yifan Simon Liu, Difan Jiao, Junda Wu, Di Bai, Jintao Liu, Xidong Wu, Zhenwei Tang
cs.IR
2026-10-16
多伦多大学与谷歌团队的立场论文:现有 GEO 基准因编辑权限各异而分数不可比,提出层/操作/信号三维分类法与统一评测协议。
GEO(generative engine optimization,生成式引擎优化)研究内容方怎么改自己的页面,让它在 AI 生成的回答里更显眼。2024 年的原始论文还停在「加引用」「换权威口吻」这类写作技巧,如今 AutoGEO 学引擎偏好、AgenticGEO 进化可复用策略库,优化已自动化。当 OpenAI 的 dots、Meta 的 Muse、Google 的 Gemini Spark 这类个人 agent 替用户比较选项,来源被不被 AI 引用,直接等于商业利益。
评测没跟上。C-SEO Bench、E-GEO、SafeGEO 等基准各自统一了任务、模型和指标,但允许哪些策略、能改多少,每个基准自己定。只许在页尾追加一小段文本的方法,和可以重写整页的方法,能被同一个 ranker 打分,编辑权限却完全不同,直接比分数就把「算法更好」和「权限更大」搅在一起。标题里那句 Humanity's Last Choice 说的就是这个:人选定系统后其余决定都交给它,这最后一次选择需要可比的证据,而现在没有。
核心交付物是一个三维元分类法(meta-taxonomy),把任何一次 GEO 编辑钉进一个坐标:
| 维度 | 回答的问题 | 取值数 | 例子 |
| Optimization Layer | 改源文档的哪一层 | 6 | surface form、document structure |
| Optimization Action | 执行什么操作 | 7 | insert、reorder、restructure |
| Optimization Signal | 瞄准模型哪条判断线索 | 7 | authority、salience、model control |
把一个证据单元挪到文档开头,记作 document structure / reorder / salience;「权威口吻」是 surface form / rephrase / authority。同一动作可瞄准不同信号,同一信号可由不同动作达成,三个坐标必须同时记录。
评测协议把比较分成三类,每类只动一个组件:比策略,同一编辑模型套用不同策略;比优化器,策略空间、反馈权限、预算全部拉平,训练成本计入资源消耗;比模型,fixed-suite 给所有模型同一批优化前后的源,adaptive 让同一优化器分别攻击各模型。评测同时报三个数:可见度增益、原始任务性能(参照答案独立于被优化源)、编辑有效率(多少次尝试守住了约束)。排行榜版本化,并报告覆盖率:哪些策略测了,哪些允许但没测。
立场论文,零实验。伦理声明写得很直白:无人类被试、无新数据、无模型实验,不提出新优化方法,映射策略全部来自已发表工作。能核对的是三样东西:
新协议下没有任何分数,与现有基准也没有实证对照,「统一标准能否改善评测」只有论证没有证据。
对做 GEO 优化或防御的人,这张 11 行 20 列的映射表本身就是贡献:十几篇论文里的编辑手段第一次进了同一坐标系,能查谁用过哪类组合,空白处就是新策略的候选。对基准维护者,「分数必须连同编辑权限和覆盖率一起读」这个论点站得住。对更广的从业者,它把一个正在到来的问题摆上台面:agent 替人做决策时,被优化的不再是搜索排名,是 AI 的推荐本身,而「哪个系统在被优化时仍把任务做好」今天没有任何可比数据。作者来自多伦多大学、UCSD、Google DeepMind 和 Google,号召有分量。
作者自列三条:没有实证验证采用该标准能否改善优化效果或任务性能;跨层编辑可能耦合,改结构常连带改措辞,逐层归因要做个案分析;对立观点主张领域特定评测加开放式策略发现,固定的公共空间可能排斥新策略。回应是保留领域任务与指标、分类法可扩展、发布版本化。
还有两处更值得盯:核心诊断「编辑权限不同导致分数不可比」只有论证,连一个「同一优化器在不同编辑约束下分数差多少」的小实验都没有;标注一致性是软肋,三个维度靠人工映射,标注协议放在附录,当策略可以自动进化,谁来维护分类法、新策略多久入表,论文没有给出治理答案。