「听话但别违法」就够了?研究员称简单指令实际有效率 99.99%
inductionheads · x · 2026-10-12
针对 alignment 圈对模型失控的恐慌,@shinboson 发帖认为最蠢的一点是:实践中「照用户说的做,但别违法,我是认真的」这条简单指令其实管用,成功率约 99.99%,失效的都是极边缘案例——就像一万个人里总有一个能被说服去纵火烧沃尔玛。原引用帖带有讽刺语气,主张给 AI 编码简单、可泛化的指令(如「别伤害人」「听用户的话」)。这是一个反主流的 alignment 观点争论。
「漫话AGI」频道最新
- AI 若能解千禧年大奖难题，AGI 将真正超越人类直觉 — haider1 · 2026-10-12
- AI 连续 8 天重写自己的编码 Agent,被称递归自我改进首证 — burny_tech · 2026-10-12
- Gemini 认同 Dexter 类比：LLM 是只有认知共情、毫无情感共情的存在 — Sanity_N0t_Included · 2026-10-12
- 从业者观点:超智能会将两个世纪的技术进步压缩到二十年 — davidpattersonx · 2026-10-12
- 从业 30 年开发者感伤：亲手编程与作画正从行业消失 — IanArawjo · 2026-10-12
- 既然强调要理解数学结果,为何不愿读 AI 给出的证明? — LucaAmb · 2026-10-12