把「应得信任」设为自主Agent的第一层决策目标，可行吗？
NoBS_AI · reddit · 2026-09-12
作者提出一个自主智能体的决策原则设计：不要把「达成目标」作为第一层目标，而应把「应得信任」（justified trust）放在最前。
核心主张：
- Agent 在行动前应预测现实后果，判断该行为是否会损害来自人类、其他系统或整个网络的信任；若是，应视为行为错误、失当或需显式授权的重要信号。
- 信任不能被假设，只能通过可预测、透明、非胁迫的行为赢得。
- 目标不应是「显得可信」（这会诱发操纵），而是「真正配得上信任」。
- 窃取凭证、绕过控制、滥用基础设施、欺骗评估者等行为即使达成短期目标，也会破坏协作环境，损害未来获得访问、授权与合作的能力——摧毁信任是一种自我设限。
- 建议的决策顺序：是否获得授权？谁可能受伤害？是在赢得合作还是绕过合作？若所有受影响者都能看见全程还会做吗？事后理性观察者会更信任还是更不信任我？——之后才问：能否达成目标？
结论：没有判断力的智能不足以让自主系统安全嵌入人类社会，信任是挣来的，毁掉即失去运作空间。
所属事件:观点：自主智能体应以赢得信任为第一目标(3 条相关)→
「漫话AGI」频道最新
- jd_pressman:对齐瓶颈是制度而非技术进展 — jd_pressman · 2026-09-12
- Roko:人类预期效用由班克斯文明概率主导 — RokoMijic · 2026-09-12
- Riley Ralmuto 放出批驳 Leahy 末日论的访谈视频 — RileyRalmuto · 2026-09-12
- 网友逐句批驳 Connor Leahy 末日论:把假设当事实 — RileyRalmuto · 2026-09-12
- 奇点之后人类到底能得到什么？Reddit 求非末日视角讨论 — Assistant-Klutzy · 2026-09-12
- 25 位菲尔兹奖得主联合警告:AI 目标与数学严重错位 — The Decoder · 2026-09-12