MATS 项目研究:模型能否通过神经反馈学会控制自身激活
SaxenaNayan · x · 2026-10-23
MATS 10.0 项目成果发布,作者与 MATSRobyn、mirkobronzi、Damiano Fornasiere(LawZero 方向)合作。
研究问题:激活监控(activation monitors)通常假设模型无法控制自身激活所编码的内容。该工作探讨模型能否在上下文中通过神经反馈(neurofeedback)学会这种控制——若成立,将直接挑战基于激活监控的安全方案的前提。
「安全」频道最新
- 未来网络安全将是AI攻防机器人大军24小时无休对战 — birchlse · 2026-10-23
- OpenAI 推出 YubiKey 优惠,硬件密钥约 74 欧元可下单 — dkundel · 2026-10-23
- 网页页脚一行隐藏指令即可劫持 AI Agent,间接注入解析 — anacondainc · 2026-10-23
- OpenAI 联手 ICBA:为美国社区银行提供 AI 网络防御能力 — OpenAINewsroom · 2026-10-23
- Anthropic 游说阻止政府监管 RSI,遭前安全研究员公开追问 — wfithian · 2026-10-23
- Auth0 首席产品架构师撰文:如何做好 Agentic Commerce 的安全层 — yenkel · 2026-10-23