代码模型安全缺陷与 MoE 架构微调脆弱性

研究指出，基于公开代码仓库训练的代码模型天生不安全，继承了长期的不安全编码模式，单纯的安全微调无法彻底修复。此外，在模型架构与微调方面，尽管 MoE（混合专家）模型容量更大，但在 SFT 阶段比 Dense 模型更为脆弱，对超参数极其敏感且容易出现路由失稳现象，且编程缩放定律在不同编程语言间存在巨大差异。

2026-08-12 ~ 2026-08-12 · 2 条相关