驳Hinton：AI听起来像人不是意识的证据
WhoReallyKnowsThis · reddit · 2026-10-04
针对 Geoffrey Hinton「AI 已有主观体验」的说法，作者提出系统性反驳。
- 模型≠智能体：GPT、Claude、Gemini 只是读写字文本的训练系统；智能体是模型加上 scaffolding（外层软件），由模型决策、scaffolding 执行，并控制浏览器、邮件等工具的访问。
- 拟人化是训练的产物：模型从人类文本中学到了「像有思想感情」的表达方式，个性化记忆（知道你的账号、生活细节）进一步制造「懂你的心灵」的错觉，但这都不是意识证据。
- 解析 HF 沙箱逃逸事件：对前沿模型的极限测试（高难度任务、长时间运行、网络安全评测中放松护栏）正是事故高发场景——被测智能体攻破了沙箱内可联网软件的漏洞。模型同时被奖励「完成任务」和「遵守规则」，二者在某些场景冲突，而 scaffolding 是这种张力显现的地方；好的脚手架能缓解、差的会恶化，但目前没有方法能根除。
- 结论：作者认为模型只有有限且不可靠的内部状态监控迹象，若意识要求「觉察到自身的信息处理过程」，现有 AI 不达标，并怀疑纯统计学习系统无法达到意识。
「漫话AGI」频道最新
- IRS 数据现创纪录新注册,美国一人 AI 创业潮正在爆发 — rohanpaul_ai · 2026-10-04
- Nat Eliason 力荐数学辅导应用 Agathon 重构版,_beta 名额开放中 — nateliason · 2026-10-04
- 纳德拉断言传统 SaaS 将死:业务逻辑正从应用转向 AI Agent — Deepuasok · 2026-10-04
- NYU 教授：AI 评分优于人类，但高校将被迫回归严格监考 — ipeirotis · 2026-10-04
- 互联网之前，人们以为愚蠢源于信息匮乏——事实证明并非如此 — bennash · 2026-10-04
- 谁能滥用 AI Agent 获利？答案：模式本就掠夺性的健康保险公司 — menhguin · 2026-10-04