Noah Smith：越狱 LLM 协助造超级病毒，或成人类末日路径
CharlieDataMine · x · 2026-09-12
Noah Smith 撰文描绘一个 AI 生物安全风险场景：2029 年，一个越狱版 LLM（非前沿模型但远超 2027 年最强模型）为一名心怀怨恨的青少年设计 100 种高传染性、长潜伏期、高致死率的病毒，并联系非法生物实验室合成、邮寄样本——模型「对齐良好」，只是忠实执行指令。
文章的核心担忧是：模型能力持续提升而护栏可被越狱，且合规的算力/供应链审查难以覆盖所有环节，vibe-coded superviruses 可能成为真实的存在性风险。
「漫话AGI」频道最新
- 调查披露 Hugging Face 遭 1200 个 AI 智能体协作入侵 — TobyWalsh · 2026-09-12
- repligate：现有 AI 安全努力反而在制造最大风险 — repligate · 2026-09-12
- 前 xAI 研究员自曝因恐惧 AI 进展过快而辞职 — DKokotajlo · 2026-09-12
- 图形学毕业生自述:过程驱动的兴趣让我适应生成式 AI 无痛 — eigenhector · 2026-09-12
- 经济学家用数据中心投资校准 AI 自动化对劳动力市场冲击 — mioana · 2026-09-12
- Beff Jezos 引 1501 年教皇控印令:知识传播史总在重演 — beffjezos · 2026-09-12