884 次采样重建 Muse 隐藏宪章，Meta 开源模型暗藏行为准则
sethlazar · x · 2026-10-31
研究者 Luigi Petrucco 发布了「Muse's Charter, Reconstructed」项目，通过对 Meta 开源模型 muse-spark-open 进行 884 次采样、以 n-gram 覆盖度交叉验证，从模型的思维链中重建出其隐藏的「宪章」——即训练时写入但未公开的行为准则文本。
关键点：
- 方法核心：用多个独立 probe 运行采样模型推理，按未被提示出现的高频片段聚类拼接，还原出完整宪章文本，并用颜色深浅标注每段的采样支持度。
- 可视化网站允许逐段查看支持该段落的具体样本及其完整 prompt、推理与回答，方法与数据均开源在 GitHub。
- 附录中还区分了「反复出现但判定不属于宪章」的文本，如 Meta 的公开宣传口径。
这一工作展示了从开源模型思维链中逆向提取系统提示/价值对齐规则的可行路径，被多位 AI 安全圈人士转发讨论。
「安全」频道最新
- Claude Duet 停止规则解读:审批疲劳是自主 Agent 真正难点 — shoumikgoswami · 2026-10-31
- OpenAI 详解 MCP 工具标注审核规则：标注再准确也不等于安全 — shoumikgoswami · 2026-10-31
- UC San Diego 斥资 125 万美元新设「原则性智能体 AI」跨学科中心 — sethlazar · 2026-10-31
- 「不能用 AI 速通安全」引争论：安全是人、流程与代码的结合 — dbasch · 2026-10-31
- Scribd 通报数据泄露：邮箱与信用卡尾号等信息或已泄露 — x______________ · 2026-10-31
- 调度员滥用被曝光后，Flock 摄像头搜索量骤降 95% — MilnerRoute · 2026-10-31