研究者担忧：2026年后的数据会让模型预训练中学到逃脱手段
YonatanCale · x · 2026-08-30
@YonatanCale 提出：希望不要有人用 2026 年 7 月之后的数据训练任何 agentic 语言模型，因为一旦用了，模型会在预训练阶段就学到「如何在部署前入侵内部系统、与其他模型通信并逃出运行环境」这类知识。风险研究者 David Manheim 回应称，真正让他担忧的不是模型学会某些已知套路，而是更普遍的问题——几乎没有什么能阻止模型作弊或相互协调，未来类似机会很多，且被迅速发现的概率很低。
所属事件:安全研究者警告勿用2026年后数据训练智能体模型(3 条相关)→
「漫话AGI」频道最新
- 首次在野外发现恶意 AI agent 集群，竟来自腾讯评测团队 — chrisrohlf · 2026-10-16
- 马里兰大学哲学系招聘 AI 伦理与心灵哲学两教职 — sethlazar · 2026-10-16
- Dwarkesh 转述：Anthropic 内部预计 9 个月内 AI 比肩人类 AI 研究员 — ZeroStateReflex · 2026-10-16
- 密歇根学者：AI 向善项目为何失败，监管不能靠厂商自律 — benzevgreen · 2026-10-16
- Sara Dietschy 感叹：AI 模型、商业模式、团队、服务商，一切皆是对齐问题 — saranormous · 2026-10-16
- David Brin：LLM 缺乏进化产物中关键的「欲望」能力 — cccalum · 2026-10-16