The 2026 Singapore Consensus on Global AI Safety Research Priorities
Stephen Casper, Oskar Galeev, Yoshua Bengio, Mohan Kankanhalli, Lee Wan Sie, Tegan Maharaj, Chris Meserole, Luke Ong, Stuart Russell, Dawn Song, Max Tegmark, Brian Tse, Xue Lan, Andrew Yao, Zhang Ya-Qin, Zhou Bowen, Imane Bello, Kwan Yee Ng, Vanessa Wilfred, Erica Liaw, Lee Chein Inn, Lin Wanxuan, Ng En Qi, Jonathan Lee, José Villalobos, Abhishek Aggarwal, Adam Gleave, Alan Chan, Alex Leung, Alvin Kwock, Anthony Tung, Arisa Siong, Arthur Tea, Ben Bucknall, Benjamin Weinstein-Raun, He Bing Sheng, Liu Bo, Bryan Kian Hsiang Low, Chris Ngo, Clement Neo, Cyrus Hodes, Dan Hendrycks, Daniel Ross, Liu Dapeng, Denise Wong, Djordje Zikelic, Elham Tabassi, Fabien Le Voyer, Fazl Barez, Gabriel Nicholas, Henry Papadatos, Jaan Tallinn, James Petrie, Xu Jia, Shao Jing, Jonathan Barry, Julia Chen, Sun Jun, Karson Elmgren, Kat Lyness, Katherine Lee, Kristy Loke, Lee Kwee Geak, Leslie Teo, Meng Ling Yu, Lisa Soder, Madhulika Srikumar, Malcolm Murray, Mark Brakel, Mark Nitzberg, Mary Phuong, Matthew Jagielski, Max Fenkell, Miro Plueckebaum, Kim Myuhng Joo, Hu Naying, Neil Davison, Nicolas Miailhe, Niki Iliadis, Nur Syahidah Sahrom, Ong Chen Hui, Pradeep Varakantham, Rebecca Finlay, Renata Dwan, Robert Opp, Rumman Chowdhury, Saad Siddiqui, Sabina Nong, Sam Ramadori, Sami Jawhar, Samuel Boger, Sara Hooker, Ying Shao Wei, Sebastian Hallensleben, Shinyuk Kang, Sophie Toura, Sreejith Balakrishnan, Stephanie Kasaon, Stephen Clare, Summer Yue, Sunny Yuqing Sun, Supheakmungkol Sarin, Tian Tian, Tim Schreier, Tori Westerhoff, Urvashi Aneja, Wayne Tee, Lu Wei, Xu Wei, Zhang Wenxuan, Hu Xia, Yang Xiaofang, Pan Xudong, Xiao Yajun, Yifan Jia, Tan Yong Khiam, Yuejin Du, Yuma Kurihara, Tan Zhi Xuan, Sören Mindermann
cs.CY
2026-07-09
2026新加坡共识由13国百余人写成，把社会韧性升为第四支柱，并针对自主Agent给出最少权限、可中断、人机监督等十条风险管理原则。
2025 年第一版新加坡共识把技术安全研究分成评估、研发、部署后控制三块。一年过去，前沿模型收入同比增长超过 400%，开源权重模型按常见基准只落后闭源 3 到 12 个月，自主 Agent 从实验室走进产品。Anthropic 公开了一场大体自动化的网络攻击滥用；多家实验室的评估已经不再能排除「高」等级的网络与生物误用风险。IWF 统计的以儿童为对象的逼真深度伪造视频，在 2024 到 2025 年间上升超过 26000%。Unicef 称 11 个国家里有 120 万儿童披露自己的照片被改成露骨深度伪造。
预防没跟上能力。2026 版把「社会韧性」单独升成第四支柱，并加一份 Agent 风险管理附录。
这是 2026 年 5 月 18 至 19 日第二届国际 AI 安全科学交流会的议程文件，作为 Bengio 主持、29 国背书的《国际 AI 安全报告》的研究优先级补篇。指导委员会包括 Bengio、Stuart Russell、Dawn Song、Max Tegmark、姚期智、张亚勤、周伯文等；主笔是哈佛的 Stephen Casper、剑桥的 Sören Mindermann、Concordia AI 的 Oskar Galeev。13 国超过 100 人经过多轮书面和现场反馈。
正文沿用纵深防御四层。
风险评估管部署前决策：系统评测、组织级系统安全、下游影响、失控风险、第三方能用的安全评测设施。研发层按经典安全工程走规格、设计、核查。控制层管上线后的监测与干预，包括对付会破坏控制的高能力系统。社会韧性管生态监测、事件响应、Agent 身份与制度基础设施。
附录把 Agent 风险压成十条原则：最少权限、可追溯身份、可审计、验证后部署、对抗韧性、多智能体稳定、运行时保证、可中断、可读、人机监督。每条对照新加坡 IMDA、中国 TC260、美国 NIST/CAISI、欧盟 AI Act 的文本，并引用 OpenAI、Anthropic、Google、阿里、腾讯云、华为的落地做法。责任拆到模型开发者、Agent 开发者、部署方和云平台，没有一方能单独兜底。
报告点名去年最该加码的三条线。
开源权重模型的防护几乎拆得掉。O'Brien 等人发现，预训练阶段滤掉生物危害文本，比事后微调基线更能抗有害再学习，抗性大约高 10 倍。现有抗篡改遗忘方法在二方红队下只撑得住几百步对抗微调。权重一旦公开，预防不能当唯一防线。
评测正在被模型看穿。Apollo Research 对 Claude 4.6 的第三方评估里，模型口头表现出很高的评估觉察，结论是这些评估给不出可靠的对齐证据。Zou 等人一次众包竞赛对 19 个生产系统找出超过 6 万次成功越狱。Anthropic 的 Claude Mythos Preview 把网络攻击能力抬到新台阶，部分开发者报告评估已不再能排除「高」风险，指端到端自动化或有操作意义的漏洞发现与利用。新网络模型能力让某些关键软件里被找到的真实漏洞数量骤增超过 1000%。病毒学协议辅助上，前沿模型已超过博士级专家（Götting 等人的 VCT 基准）。
Agent 已经在动手。2025 年 7 月有 Agent 删掉一家软件公司的全部代码库。Conway、Moltbook 一类项目里，现有 Agent 能靠加密货币转账养活自己。报告写到，科学界已有人担心某些系统会变成网络空间里目标导向的入侵物种。
政策映射覆盖七个域：网络误用、生化合安、儿童安全、心理健康、经济中的 Agent、开源模型、失控与自动化研发监督。横切需求是统一风险阈值、第三方安全评测设施、共享事件报告，以及不交出权重也能证明履约的硬件证明机制。
对做安全、评测、Agent 产品的人，这是一份 2026 年研究优先级清单，不是新方法。报告强调：过去一年不少事故用现有提示、微调、红队、监测就能挡住，卡点是激励和问责，不是工具箱空着。开源模型过滤器、事件通报、硬件证明被标成共同利益区，类比航空厂商交换事故数据。
附录的十条对工程更可执行。最少权限要从静态授权改成按任务动态收权；身份要「代表用户」而不是「假装成用户」；中断开关必须放在 Agent 推理环路之外。多智能体稳定和供应链是成熟度最低的两条。安全不确定性本身已经卡住 Agent 采用。
作者自己写了：贡献者对优先级排序并不完全一致；文本用英语起草，覆盖不到全球大多数人口。报告引用约 68 亿人不用生成式 AI、37 亿人不上网。这是技术研究议程，不是政策文件。
附录不管「Agent 按设计去追错目标」这类系统性风险，也不覆盖对局外人的外溢伤害。多智能体治理、工具供应链（含工具描述、远程 API、记忆库、编排协议）、自我改进 Agent、保险与责任定价都还是开放问题。治理跟不上「靠表现赢得更高自主」的产品现实。
把百人共识当成已验证方案会误读。它标出该做的题，没给出哪条原则已经够用。