编码智能体失配的现实损失
joshua_saxe · x · 2026-07-14
作者做了一份关于**编码智能体失配（misalignment）经济损失**的时间序列分析，关注过去几年里真实世界中已经发生的损害。 核心观点是：对齐讨论不应只停留在深度学习研究层面，而要更多回到**现实中可观察到的道德与经济损失**。因为现在自主智能体已经开始在组织里承担重要技术任务，相关问题同时也是： - **监管问题**：我们愿意容忍多少代理行为异常？ - **经济问题**：我们愿意为更宽/更严的护栏付出多少成本？ - **研究问题**：如何从技术上继续降低失配风险？ 他强调，这三者不是二选一，而是一起构成对齐议题。