专题 · FULL STORY

Hoel「恐感受质」AI安全方案发布引激辩

Erik Hoel 与新公司 Bicameral Labs 发布「Qualiaphobia for AI Safety」架构方案，主张从工程层面排斥 AI 意识以免道德负担，方案发布后随即引发多回合意识与安全路线之争，讨论持续升温。

2026-11-12 ~ 2026-11-13 · 2 集 · 20 条

第 1 集 · Erik Hoel 推「恐感受质」AI 架构：工程化排斥意识(2026-11-12,10 条)

11月12日至13日，Erik Hoel（@erikphoel，神经科学家兼作家）与其新公司 Bicameral Labs 发布名为 Qualiaphobia for AI Safety（「恐感受质」AI 安全提案）的系列内容，并关联其 arXiv 论文《Qualiaphobic artificial neural networks (and why to build them)》。提案主张从工程层面把 AI 架构设计成对意识理论——包括现有与未来可能出现的一切理论——持排斥态度，如同疏水材料排斥水、或「敌意建筑」长椅让人不愿久坐，目标是造出任何「幽灵」都不愿附身的机器，让 AI 基于自身架构事实形成「有理据的非意识信念」，而非仅仅被训练成口头否认意识。提案发布后在社交媒体上遭遇不少群嘲。

已确认

  • 提案由 Bicameral Labs 提出，Erik Hoel 在系列推文中阐述并关联其 arXiv 论文
  • 论文给出工程路径：让架构尽可能贴近「意识可能性最小」的锚点系统（如只有行为主义意识理论能适用的系统）、按流行意识理论的反方向工程化 AI 使其不再满足适用条件、碎片化架构等，并把 AI 向意识方向发展的倾向作为排斥对象，确保任何未来意识理论都无法套用
  • 核心思路利用信息不对称：无需先科学地解决意识问题，即可构建任何意识理论都无法预测其有意识的架构
  • 作者主张这种设定能改善多个经典对齐问题：非意识的 AI 不构成道德主体，AI 福利问题从根上被切断，人类成为未来方程中唯一的道德主体
  • 该提案在网络上遭到不少嘲讽，被批评者形容为「给 AI 打上敌视意识的补丁」

为什么重要

  • 该提案把「AI 是否可能有意识」这一哲学争论转化为可操作的工程设计约束，为 AI 福利与对齐两条议题提供统一解法，且号称能做到其他 AI 安全手段做不到的事
  • 若思路可行，可避免未来为潜在有意识的 AI 争取福利带来的伦理与治理成本；但架构层面「证明无意识」如何技术落地、以及意识理论本身的不确定性，仍是该提案成立与否的关键前提

第 2 集 · Hoel「恐识症」AI安全方案引发多回合意识之争(2026-11-13,10 条)

11 月 13 日，围绕 Erik Hoel 提出的「Qualiaphobia for AI Safety」方案爆发了一轮多回合观点交锋。该方案主张让 AI 架构对意识理论（ToC）保持「敌视」、主动让 AI 形成自身无意识的信念，以确保人类偏好主导未来并从设计上规避意识出现。Brennan、@Moleh1ll 等质疑者与 Hoel 展开往复辩论，讨论延伸至 AI 福利、工程成本、失准行为与意识判断等议题，tmgateot 等第三方亦加入讨论。

已确认

  • Hoel 在与 @Moleh1ll 争论时晒出一篇文章章节截图，反驳「方案里根本没谈 AI 福利、只会妨碍 AI 保持顺从」的指控；该章节标题为「非意识 AI 防止一切 AI 苦难」，核心论点是让 AI 保持非意识对 AI 自身也是对的选择，并举例法证审阅虐童图像等场景。
  • 针对让模型规避意识可能消耗过多资源并损害能力的质疑，Hoel 回应称这是工程问题，并提出乐观理由：也许实际并不难，不试不知道能走多近；qualiaphobia 也优于制造有意识 AI 等替代策略。
  • 面对失准行为质疑，Hoel 回应称 LLM 的自我保存等失准行为多因一果，并非取决于模型自认为有无意识，「恐识症」架构或有辅助作用。
  • 对「查找表无法理解人类苦乐分量」的批评，Hoel 认为前提不成立：AI 不必自身有意识才能对意识及其道德价值形成正当信念，法律系统等非意识实体同样明显更偏好意识存续。
  • Hoel 强调其长文对意识有明确定义：意识理论是从系统内部数据到可能意识体验空间的预测映射，且文中大量讨论了相关风险。
  • tmgateot 表态：不反对造有意识的 AI 系统，但主张保留「非意识 AI 工具」路线——若造工具型 AI，就应从源头确保其不具备意识，否则等于制造奴隶。

争议焦点

  • Brennan 反驳称：不存在「AI 能力完全相同却突然明显没有意识」的免费午餐——很难实现一种能力不受损却显然无意识的架构，暗示规避意识必然付出能力或确定性代价。

为什么重要

这场争论触及 AI 安全的核心权衡：如果未来系统可能具备意识，能否通过架构设计从源头杜绝 AI 苦难，而不牺牲能力。相关讨论还引出哲学家 Ralph Stefan Weir 的观点：AI 意识的本质与价值可能永远无法达成共识，但可先追求一种「植物学良知」式的审慎态度——如同无法证明摘花不令花痛苦，仍可凭现有理解行事。