Geoffrey Irving 探讨字符训练与伦理对齐的落地困境
geoffreyirving · x · 2026-08-23
Geoffrey Irving 在关于字符训练的讨论中指出，在训练早期，模型能力较弱且对齐程度低，所谓的“伦理”在模型内部仅仅是一个影响 Token 分布的数字（例如新 GPTs 中的 46318）。这种通过语言循环反馈的方式与现实世界的联系是间接且复杂的，目前尚不清楚这种纠缠究竟能带来多少实际的对齐效果。
所属事件:Geoffrey Irving 论字符训练与对齐的哲学基础(7 条相关)→
「安全」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Fox-IT 公开 Cobalt Strike Beacon 语料库，威胁狩猎迎来新数据集 — cyb3rops · 2026-10-15
- 美国银行投入4000人修复 Anthropic Mythos 等 AI 发现的漏洞 — The Decoder · 2026-10-15
- SAIF 深度对话：2500 万美元用 AI 重写网络防御经济学，护住小城与学区 — a16z · 2026-10-15
- a16z 联手前白宫网络高管推 SAIF：用 AI 免费守住 1800 家乡村医院 — a16z · 2026-10-15
- AWS 提出 Trust in Depth：让智能体更自主又不失控的分层方法 — AWS ML Blog · 2026-10-15