Conitzer 发文质疑：递归自我改进安全性尚无人能说清
rohanpaul_ai · x · 2026-11-11
知名学者 Vincent Conitzer 在 arXiv 发布论文《Is Recursive Self-Improvement Safe?》，将刊于 IEEE Intelligent Systems。核心论点：没有人能宣称递归自我改进（RSI，即 AI 造出更好的 AI、如此迭代）是安全的，因为人类连清晰思考其走向的框架都还没有。
- 前沿 AI 已在编程、数学、研究、工具使用和长程连贯工作等方面具备能力，使 RSI 从抽象设想变得看似可行，AI 公司已开始 pursuing。
- 但许多参与者同时表达担忧：人类是否真的应该启动它、在什么条件下可以启动，目前没有共识。
- 论文指出当前缺乏分析 RSI 可能结局的清晰框架，并做了一个快速的博弈论分析：当另一方也在做同样选择时，如何决定是否率先启动 RSI。
- 作者以普通用户身份让 AI 训练了一个小型 LLM，作为 RSI 已部分可及的例证。
所属事件:Conitzer 发文：递归自我改进的安全性尚无清晰框架(2 条相关)→
「安全」频道最新
- WIRED 起底「消融派」:专门拆除开源模型安全护栏的公司与社群 — willknight · 2026-11-11
- Glasswing 项目 7 个月：442 个 CVE 归属 Anthropic，但仅 217 个被修复 — jedisct1 · 2026-11-11
- UC Berkeley 提出潜水印 SubWM，蒸馏洗白后仍可检出 — sumanthd17 · 2026-11-11
- 微软专利曝光：实时改写直播语音并同步口型 — Significant_Mail5398 · 2026-11-11
- 微软研究：改动不到十个神经元就能把 agent 变成休眠后门 — DimitrisPapail · 2026-11-11
- 安全社区最该花钱的方向：办一所教 LLM 内功的两年制学院 — viemccoy · 2026-11-11