研究发现，LLM 生成 CVE 标签并不能提升 ATT&CK 映射

CIRCL · hf · 2026-07-29

关键结论

CIRCL 提出了一套可复现流程，用自由文本的 CVE 描述去映射 MITRE ATT&CK Enterprise 技术。

他们先用 MITRE CTID 的专家映射构建了一个包含 1,207 条 CVE 的高质量 gold set。
训练出的多标签分类器相较零样本 embedding 相似度基线，recall@5 تقريب乎翻倍，并且所有排序指标都提升。
论文进一步测试能否用 LLM 辅助标注扩充数据集，但结果显示，最初看到的收益其实是评估伪象。
独立复现和更大规模扩展实验表明：LLM 生成标签与专家标注的一致性只有约 0.39，并不能稳定提升性能；当新增样本接近 1,000 条时，稀有技术覆盖甚至变差，macro-F1 下降约 0.04。
作者认为真正瓶颈在于标签质量而不是数据量：加入专家精标数据会持续提升效果，但 LLM 标注数据不会。
数据集、模型、代码和训练日志都已公开。

「安全」频道最新