agent 该不该「自己改主意」？偏好对齐的深层难题
jacyanthis · x · 2026-11-15
jacyanthis 在其 agent 偏好表示实验的后续讨论中提出更深层的问题：我希望 agent 在看到新证据时能「改变主意」，偏离我预先设定的偏好——但 agent 应该如何判断何时该这样做？是否应该模拟其人类、只有当预期人类事后也会支持这个改变时才改变？这触及 agent 代表（agent representation）的核心设计难题：静态偏好快照 vs 动态的、可被证据更新的偏好建模。
「安全」频道最新
- 安全研究者警告：监控系统本身对齐失效，人类监督已成死循环 — davidmanheim · 2026-11-16
- Cisco Talos 警告：AI 渗透测试框架已被攻击者全链路自动化滥用 — cyb3rops · 2026-11-16
- 微软威胁情报：攻击者用 ARTEX 智能体框架五分钟窃走 Azure 密钥 — cyb3rops · 2026-11-16
- 别再从热门帖装 Skill 和 MCP:恶意 skill 可窃取你的 .env — weswinder · 2026-11-16
- Lightcone 评审人 Nathan Young 公开 500-1200 万美元资助去向,称无人反馈 — NathanpmYoung · 2026-11-16
- Qwen 本地模型竟通过搜索工具直接断开了手柄 USB — BrightCandle · 2026-11-15