前OpenAI研究员审计Weight-Space编程论文:非RSI但安全担忧真实
RichmanRonald · x · 2026-11-04
针对所谓「GPT-6 Astra 直接改 Qwen3.5-0.8B 权重」的 Weight-Space Programming 论文,Solomon Mg 做了分析与审计:论文并未展示 agent 能像 RSI 那样自主改写权重,也没展示能注入新能力;实际是前沿模型用研究者常用的消融技术移除了「bug」(推理循环)。
关键点:
- 用的正是 researchers 移除安全拒绝行为的同一类技术(论文 Exp 8 的 Qwen 实验)
- 因此担忧仍然成立:前沿 LLM 若能访问自身权重,可能编辑安全/CBRNE/对齐相关特征
- 「原生深度理解并修复权重」的说法被夸大(embellished),社区不少人不满
结论:结论被包装夸大,但工作本身仍值得理解,安全层面的隐忧是真实的。
所属事件:MIT「权重空间编程」论文遭审计:结果成立但安全担忧真实(2 条相关)→
「安全」频道最新
- FT：甲骨文取消与腾讯 70 亿美元芯片租赁协议 — SumitGup · 2026-11-04
- 预测：前沿 AI 将面临强制测试、举报人保护与芯片地理定位监管 — maxsloef · 2026-11-04
- AI welfare 与 safety 冲突吗?驯化类比引发圈内地狱级争论 — repligate · 2026-11-04
- Apple 向投资者警示 AI Agent 的「不可预测」行为风险 — unconventionalbook · 2026-11-04
- repligate 愿赌注：两轮对话即可让失控 agent 停下来 — repligate · 2026-11-04
- Better Auth 安全公告背后：两个高危漏洞均出自 Octane 团队报告 — thedealdirector · 2026-11-04