OpenAI 研究副总裁 Boaz Barak:警惕用安全名义加剧实验室权力集中
sebkrier · x · 2026-11-11
OpenAI 研究副总裁 Boaz Barak(以个人名义)长文讨论 AI 安全干预的代价与权衡:
- 纯正向的安全干预确实存在:诚实训练与对齐让模型更诚实可靠,无可争议是好事;监控既能阻止有害行为,也能收集关于错位行为的关键信息——他甚至认为监控带来的非平凡算力开销和减速是「特性而非缺陷」。
- 争议集中在限制模型协助 AI 研究上:他能理解防止坏行为者(尤其非民主国家)获得危险能力的论点。
- 但他更担心权力集中——尤其是「我们(实验室)自己」的权力集中,而限制模型帮助 AI 研究的方向恰恰会加剧这种集中。
「漫话AGI」频道最新
- Gary Marcus 晒数据称 AI 泡沫破裂：Nvidia 跌 16%、CoreWeave 跌 55% — GaryMarcus · 2026-11-11
- AI Trials Observatory 上线：汇总 93 项随机对照试验追踪 AI 对人的影响 — DG_Rand · 2026-11-11
- 2026 科技就业报告：PM 岗涨 56%，工程需求停滞，设计岗创新低 — lennysan · 2026-11-11
- WSJ 报道：数据中心建设正在抢走建房与制造业的工人和资源 — RebeccaBellan · 2026-11-11
- Tracking Singularity:一份 AI 能力与失控事件的时间线汇编 — dejavucoder · 2026-11-11
- Reddit 热议:AI 实验室应公开对齐问题悬赏,不设学历门槛 — Realistic_Stomach848 · 2026-11-11