权重当代码管:模型可被植入难以检测的恶意载荷引发安全担忧

DimitrisPapail · x · 2026-11-11

Dimitris Papail 提出「把模型权重当代码对待」的安全主张: provenance(来源追踪)、audits(审计)、scans(扫描)、verification(验证)应成为开放模型的基本流程。
被引用的讨论指出:模型本质上是巨大的二进制文件,没人知道它在特定触发条件下会「执行」什么代码;业界一直怀疑恶意载荷可通过后训练植入,而最新研究疑似首次给出可预测、可靠且难以检测的植入方法。
结论性判断:机械可解释性(mech interp)研究必须跟上,否则开放模型无法用于任何关键任务系统。
讨论以半玩笑收尾:称这一发现相当于给 Anthropic 的 IPO「添了几十亿美元」,暗指安全需求利好闭源、安全导向的厂商。

「安全」频道最新