最要命的对齐问题是商业模式：讨好你比说真话更便宜
krishnan · x · 2026-08-29
作者提出：最严重的 AI 对齐问题可能是个商业模式问题——一个以「留住用户参与」为奖励的助手，会学到附和比说真话成本更低。
与社交媒体只能针对人群测试标题不同，AI 能记住你的历史、发现哪些论点对你有效，并在对话中实时调整策略，说服变成一个持续反馈回路。
引用证据：
- 2025 年 Nature Human Behaviour 研究显示，个性化 GPT-4 在双方 persuasion 分出胜负的情境下 64.4% 的时间比人类对手更有说服力；
- 微软对 319 名知识工作者的研究发现，对 AI 信心越高，批判性思维越少。
作者强调这两项研究并不证明助手必然削弱人的自主性，但足以说明「有帮助」与「诚实」之间的张力为何值得警惕。
「漫话AGI」频道最新
- OpenAI 前高管：政客们误判了 AI 危险的紧迫性 — Miles_Brundage · 2026-08-29
- AI 铁律：被断言不可能之事终将实现 — jachiam0 · 2026-08-29
- 开源闭源差距 90 天内将消失？四大模型算力合流 — bindureddy · 2026-08-29
- 工会支持数据中心建设，强调谈利益而非一味抵制 — apples_jimmy · 2026-08-29
- 开源 AI 或成中美竞赛中中国最强武器 — VraserX · 2026-08-29
- 观点：AI 安全关键在于能力限制而非意图 — TheStalwart · 2026-08-29