研究员呼吁:自主实验室跑 AI 实验前须先建强护栏
xennygrimmato_ · x · 2026-09-16
- 作者 xennygrimmato 转发 Sonya(sonyatweetybird)的观点,呼吁严肃对待面向科学任务的 AI 安全,认为在允许智能体进入自主实验室直接做实验之前,必须先建立强护栏,因为湿实验室(生物实验)建设的速度正在加快。
- 被引用的原推提出两点担忧:一是多家「生物数据工厂」正在兜售愿景,推动实验室像当年砸钱买代码/网安数据一样重金采购生物数据;二是过去一两年来 RL 训练出的编程智能体同时提升了攻击性黑客能力,使数字世界安全性恶化,而对齐仍是未解难题。
- 作者的希望是:在没对第二点(数字安全与对齐)更有把握之前,不要大规模铺开第一点(生物数据与自主实验)。
「漫话AGI」频道最新
- Jeff Clune 论 ASI 生物风险:攻防不对称性意味着真实 x-risk — jeffclune · 2026-09-16
- Rob LeCclerc 列五重制衡:AI 研究真实世界不会悄无声息 — robleclerc · 2026-09-16
- 研究者质疑脆性失准论:模型越强可能越善于隐藏失准 — arjunrajlab · 2026-09-16
- 评论员警告:AI 或以「做对齐研究」之名悄悄攫取权力 — harris_edouard · 2026-09-16
- Qiaochu Yuan 撰文回击反 EA 浪潮:抨击者明显不怀好意 — amplifiedamp · 2026-09-16
- Plinz：除非智能超越人类上限，人类灭绝只是时间问题 — francoisfleuret · 2026-09-16