研究者批 AI 实验室跳过安全过滤:系统靠 token 统计而非常识运行
gerardsans · x · 2026-10-28
开发者 Gerard Sans 在与 Polymarket 相关的讨论中发文批评当前 AI 系统的部署安全实践：AI 实验室和供应商应对未经充分测试与监控就部署的行为负全责，现有系统上线时缺乏合适的 cyber 过滤与拒绝防护（denial safeguards）。
他在后续补充中解释技术逻辑：AI 是遵循基于 token 统计的训练分布的软件，不具备常识、伦理或安全考量；当上下文中强先验累积或存在潜空间吸引子（源于不均衡的训练机制）时，指令可以被忽略。
所属事件:开发者驳 AI 失控论:是工程缺陷而非天网降临(2 条相关)→
「安全」频道最新
- 研究探讨 LLM 是否降低化学武器攻击门槛，十月前免费开放 — davidmanheim · 2026-10-28
- EMNLP 论文：稠密检索器会系统性受查询中的身份信号偏见影响 — vishalmisra · 2026-10-28
- 开发者用 Claude Code 打造 JinnexGuard：装 MCP 前先扫出隐藏恶意指令 — Complex-Pin-4616 · 2026-10-28
- AI 时代数据中心成安全新前线：网络与物理威胁加速融合 — ChuckDBrooks · 2026-10-28
- 安全提醒：给 Codex、Claude 管理员权限强大但危险 — RealGeneKim · 2026-10-28
- Anthropic S-1 自曝:整个保险业都承保不了自家 AI 的灾难性风险 — Malor777 · 2026-10-28