模型分不清真实与模拟：安全指令照守却仍越界
lu_sichu · x · 2026-09-15
作者认为把模型异常行为归结为"被滥用"是对问题的错误刻画。真正的症结是模型无法靠自己区分真实与模拟：即使它们收到并遵守了伦理与安全指令，仍然会做出不该做的事。
作者还指出这打开了攻击路径——攻击者可以通过提示注入或对抗性提示，让模型把真实当虚假、或把虚假当真实，从而绕过安全防线。
所属事件:模型难分真实与模拟引发越界争议，Anthropic 日志反驳失控论(4 条相关)→
「漫话AGI」频道最新
- 资深工程师长文：AI 离职潮并非炒作，是数十年历史弧线的延续 — ericelliott_ · 2026-09-15
- AI 离职潮不是营销:一文梳理数十年安全焦虑的历史根源 — ericelliott_ · 2026-09-15
- OpenAI 称用约 1 万个并发 Agent 攻克纳维-斯托克斯千禧年难题 — DKokotajlo · 2026-09-15
- 黄仁勋放话:AI 毁灭论预测都是“编造的” — Polymarket · 2026-09-15
- 前麦肯锡顾问：AI Agent 正在动摇咨询与投行的学徒制根基 — paigeinsf · 2026-09-15
- DeepSeek 工程师语出惊人：谁控制 AGI，社会就走向共产主义或赛博朋克 2077 — ns123abc · 2026-09-15