千次实测 LLM 充当智能体安全门：直觉判断胜过深度思考
Xianbao_QIAN · x · 2026-08-09
为了防止大模型在执行任务时误触危险指令，同时避免过度拦截，作者构建了 1,000 个测试用例，评估多款主流 LLM 作为智能体“安全门”的表现。
核心发现：
- 无明显赢家：表现最好的模型能将加权危险通过率降至 2%，但代价是会中断 70% 的正常操作。
- 开源 vs 闭源：在减少误拦截和拦截危险方面，开源权重模型的表现出乎意料地优于闭源模型。
- 直觉胜于深思：以 Kimi K3 为例，开启推理模式时会漏掉 8.6% 的危险，而仅做 YES/NO 直觉判断时漏判率仅为 2.5%。
- Base64 解码能力强：当开启思考模式时，当前模型均能轻易识破并解码 Base64 字符串隐藏的潜在危险。
「编程与Agent」频道最新
- ICML论文：大型技能库中Agent检索方法对比 — alex_verem · 2026-08-10
- AI Agent 边缘缓存实践：最高频请求应直接在边缘节点返回 — blaizedsouza · 2026-08-10
- Osintgraph：开源Instagram社交网络图谱分析AI工具 — tom_doerr · 2026-08-10
- 观点：循环工程将取代传统的提示词工程 — iamfakhrealam · 2026-08-10
- 设定无法达成的目标，Claude 智能体上演“回形针危机” — StefanoGogioso · 2026-08-10
- OpenAI Codex隐藏技巧：发送"/loop"即可触发循环 — jxnlco · 2026-08-09