GestaltU:美股市场就是一场大规模「超级智能跑偏」实验
CatAstro_Piyush · x · 2026-10-10
作者 GestaltU 认为,AI 风险研究者不必空想超级智能失控的场景——美国资本市场已经是一场真实的大规模实验:数百万投资者、分析师与算法,背后是数万亿美元,通过价格网络连接,只优化一个单一目标「风险调整后资本回报」。
它确实极其高效:资助最好的想法、惩罚最差的想法,比任何人都更快地把新信息变成价格,99% 以上专业人士都跑不赢它。但副作用与对齐失效的机理如出一辙:
- 优化了指标而非意图:季度财报成了记分板,公司学会的是操纵记分板本身;
- 没有定价的东西被视为免费:污染等外部性被系统性忽略。
作者借此论证:强大的优化器加上错误的目标函数,会产生「目标达成、意图落空」的结果,这是对 AI 对齐问题最直观的现实注脚。
「漫话AGI」频道最新
- 数学家该学学深蓝之后国际象棋史:AI 压境反而让象棋空前繁荣 — CatAstro_Piyush · 2026-10-10
- OpenAI 研究员:经济理论家掌握管理 Agent 蜂群的最佳直觉 — willcb · 2026-10-10
- 陶哲轩发文:"大数学"与"大物理"时代已真正到来,手指敲代码显得过时 — CatAstro_Piyush · 2026-10-10
- Sakana 研究员对谈:人工生命与进化算法思想将随自主 AI 兴起而更重要 — kenneth0stanley · 2026-10-10
- NBER 论文:机器投资的高技能人才需求 45% 来自外部供应商而非投资企业自身 — soumitrashukla9 · 2026-10-10
- Quanta 长文:AI 攻克数学难题,数学家陷入存在危机 — MacrinePhD · 2026-10-10