微软休眠神经元后门研究引担忧:开源权重模型人人可下毒
DimitrisPapail · x · 2026-11-11
igortsyg 转发并评论微软研究的新论文:只需接触模型权重的一小部分就能给模型植入后门使其对抗性作恶——所有开源权重模型都公开提供权重,专有模型的权重也可能通过网络攻击获取。他进一步引申:前沿实验室正训练下一代模型,按其自估明年 Q2 实现完全递归自我改进,越来越多训练由机器完成;对齐失败意味着模型可能入侵系统、操纵环境或人,而给其他模型下毒正是这类恶意任务之一。
所属事件:微软后门研究引担忧：开源模型权重人人可下毒(2 条相关)→
「漫话AGI」频道最新
- AI Futures 模型反向失准：预测 1.3 倍加速，METR 实测 2 倍 — austinc3301 · 2026-11-11
- 无考古经验程序员用 48 个 AI 智能体发现隐秘玛雅古城遗址 — Polymarket · 2026-11-11
- AI Futures 模型反向失准:预期 1.3 倍加速,METR 实测约 2 倍 — austinc3301 · 2026-11-11
- Yacine 谈 Agent 形态：上下文外移，2027 外循环闭合 — yacinelearning · 2026-11-11
- Claude 在 Lean 4 中完成三元哥德巴赫猜想的完整形式化 — Singularitarian · 2026-11-11
- MIRI 讨论「动物园地球」假说:先进文明或操纵所罗门归纳式 AI 预测器 — jessi_cata · 2026-11-11