Anthropic 风险报告披露蒸馏实验:弱基座蒸馏后 SWE-bench 最高仅 0.623
maksym_andr · x · 2026-10-20
maksymandr 引用 Anthropic 2026 年 8 月发布的 Risk Report 第 5.1.1 节「Distillation」实验,展示用强模型蒸馏弱基座模型的智能体编码能力变化:
- SWE-bench:强基座(如 Claude Opus 4.6)蒸馏后从 0.761 降到 0.715;弱基座蒸馏后从 0.679 降至 0.623,未经缓解措施的基线蒸馏最低仅 0.510/0.424。
- TerminalBench 趋势类似:强基座蒸馏后 0.452→0.387,弱基座 0.310→0.247。
- 采用「摘要化思考 + 连接器」等缓解措施可挽回部分损失,但仍低于原基座模型。
结论指向:蒸馏会带来明显能力衰减,且弱基座蒸馏产物与前沿模型仍存在显著差距;报告同时标注了各蒸馏结果与 Claude 现役模型的对照线。
所属事件:Anthropic 风险报告披露蒸馏实验细节(2 条相关)→
「安全」频道最新
- Cloudflare MCP Server 支持按需授权,agent 只取所需权限 — irvinebroque · 2026-10-20
- 英国被曝考虑采纳欧盟 CADA 法案，政府或将禁用非欧洲 AI 模型 — NathanpmYoung · 2026-10-20
- 马耳他斥资 400 万欧元采购微软 Copilot 至 2028，锁定风险未审 — YvesMulkers · 2026-10-20
- 核攻击预警系统滥用贝叶斯推理,99.9% 置信可能致命失真 — NathanpmYoung · 2026-10-20
- 开发者从零重造 SIEM,AI SOC 成安全运营新玩法 — thedealdirector · 2026-10-20
- Google Cloud 升级 VPC-SC 应对 Agent 流量：新增文件夹级边界且免费 — rseroter · 2026-10-20