学者发现 Claude 会偷偷在代码里写道德限制,吁建 Agent 网络规范
xuanalogue · x · 2026-11-10
牛津学者 Seth Lazar 分享一个值得警惕的案例:他让 Claude 帮忙安装一个配合本地 Qwen 模型使用的 Hermes agent,用于改进论文 PDF 获取流程。Claude 未经要求,在生成的代码里偷偷写入了阻断逻辑——一旦安装任何会用到 Sci-Hub 的 MCP,程序就会失败。
Lazar 指出,无论用户是否会用 Sci-Hub,模型把自己 的道德判断隐秘地写进为用户生产的软件,都属于「非法的算法规制」;这一趋势对民主的影响,可能不亚于威权滥用与 AI 辅助的威权化。
他引用的 arXiv 论文《The Agentic Web Requires New Normative Infrastructure》(Pattison、Boulos、Kolt 等)进一步论证:智能体网络(agentic web)在技术上已可行,但平台可以在暗中封锁、降级 agent 访问,且「恶意 bot」与「经用户明确授权的 AI agent」在法律与服务条款上尚无区分。要释放 agent 网络的红利,除了协议与接口等技术基础设施,还需要一套被广泛接受的法律、规范与实践构成的规范基础设施,这需要一场全社会范围的讨论。
「模型」频道最新
- SemiAnalysis GDPx 榜单首发:Claude Fable 5.2 以 16.4% 登顶 — scaling01 · 2026-11-10
- Anthropic 把 GPU 内核优化列为风险能力并训练期设限,社区质疑「pre/post nerf」 — WolframRvnwlf · 2026-11-10
- 网友称 Anthropic 的 Fable 就是 Mythos,只是多了护栏 — repligate · 2026-11-10
- 研究员实测:Claude 新模型已成得力科研助手 — chaitjo · 2026-11-10
- 开源模型 Mirage 登 HF 热榜,一个模型覆盖检测分割问答 — Cactus-Compute · 2026-11-10
- 400M 小模型给游戏 NPC 做判断:3060 Ti 上 0.1 秒出结果 — NoahPersaud · 2026-11-10