Reddit 热议:能否用 250 篇恶意文档给对手模型「下毒」?
cern0 · reddit · 2026-11-05
- 发帖人由 Claude 近期在编码等方面领先 ChatGPT 出发,提出一个博弈论式猜想:AI 公司能否故意污染竞争对手的训练数据?
- 依据:Anthropic 2025 年 10 月论文显示仅 250 篇恶意文档即可向最高 13B 参数的模型植入后门,与数据集总量无关;另有 2024 年 Nature 论文证明递归训练 AI 生成数据会导致模型退化。
- 作者明确声明没有任何证据表明 Anthropic 真的这么做,性能差距更可能来自训练技术、RL、算力分配差异; Anthropic 研究只证明窄后门攻击而非通用能力劣化。
- 抛出问题:这类攻击对 GPT-6 级别前沿模型是否现实可行,现代训练管线过滤能否化解?
「漫话AGI」频道最新
- 预测市场做市商研讨会:CLOB 自我造血,AMM 让做市商必亏 — devanshmehta · 2026-11-05
- 印度科技业靠堆人二十载,AI 时代正为这套优化付出代价 — arpit_bhayani · 2026-11-05
- 安全研究者交锋:工具收敛论真的能预测智能体 AI 的危险吗 — davidmanheim · 2026-11-05
- 自嘲成 AI 圈「中间派」:被 AI 信徒和卢德派左右夹击 — teodorio · 2026-11-05
- 观点:AI 发展下一个瓶颈不是算力,而是人类注意力 — manosaie · 2026-11-05
- 博主评 LessWrong:把「少犯错」当身份认同恰恰是错的方法 — StewartalsopIII · 2026-11-05