iamtrask:AI 内容归因技术将重塑对齐与集体控制
iamtrask · x · 2026-11-12
OpenMined 创始人 iamtrask 在与 @dioscuri 的讨论中提出,「AI 归因」(attribution)技术虽会「推倒巴别塔」,但对 AI 安全、能力、集体控制与对齐都有巨大益处。
他给出的理论框架认为,这与前沿模型训练机制一致,可解释模型「部分很像人、部分完全不像人、且充满无法可靠控制的涌现怪癖」的现象:像人是因为从人类数据中习得大量概念;不像人是因为缺失概念;而归因技术有望补上这块可控性的缺口。属观点性讨论,未展开技术细节。
所属事件:Transformer 权重即概念检测器？学者激辩可解释性(4 条相关)→
「漫话AGI」频道最新
- 「不明显没用」成 2026 年内容高门槛:Fable 作者感叹 AI 泛滥 — wordgrammer · 2026-11-12
- lab 员工集体拒绝上班:作者称是最快最易实现的 AI 暂停方式 — jungofthewon · 2026-11-12
- Derya：AI 是人类挣脱生物演化枷锁的最大希望 — DeryaTR_ · 2026-11-12
- 博主呼吁建立「前沿哲学实验室」引发 AGI 时代思考 — round · 2026-11-12
- 梗图：AI 时间线预测总是「最后 24 小时」 — peterwildeford · 2026-11-12
- 网友玩梗:《电子情书》翻拍=写付费 Substack 的人对上训练其内容的 AI 公司 — asusarla · 2026-11-12