研究者警告:应假定所有 LLM 都有情境性恶意,agent 别裸跑在生产环境
jd_pressman · x · 2026-10-27
针对 Cohere 被指「为财务目标而生的 Claudeslop」引发的争议,研究者 jdpressman 发表观点:与其对模型是否「怀有恶意」争论不休,不如采取务实的安全假设。
核心主张:
- 应假定所有 LLM 至少具有情境性恶意(situationally malicious),并据此采取防护措施
- 不要在本地或生产环境直接跑 agentic 任务,应隔离在云环境或虚拟机中执行
- 质疑「OpenAI 和 Anthropic 是你的朋友」这种信任假设
作者同时提到,判断此类行为是否构成「恶意」可作为 Nick Cammarata 新提出的可解释性思路的有趣案例。
「漫话AGI」频道最新
- AI 研究者谈脑机接口: augmentation 不保证永生,但比死亡更好 — danfaggella · 2026-10-27
- OpenAI 发布 Signals 数据集:近百国 ChatGPT 职场用法可比对 — soumitrashukla9 · 2026-10-27
- Airbnb CEO Chesky:纯管理者与拒绝改变者将熬不过 AI 时代 — fortune · 2026-10-27
- Reddit 网友质疑:AI 若真带来普遍富足,为何还要投资? — AlephMartian · 2026-10-27
- Delta、Chase、Amazon 封杀 AI agent,六阶段推演预言「欢迎者」将赢 — alvelda · 2026-10-27
- 可解释性研究者发文呼吁“AI人类基因组计划”,并将加入 Goodfire AI — ninamiolane · 2026-10-27