开源工具 Gradian:精准定位导致 LLM 微调失败的“毒数据”

vylara-ai · reddit · 2026-08-03

开发者在微调大模型时常遇到模型变笨却无从排查的痛点,为此推出了开源调试工具 Gradian。

该工具通过计算 LoRA 适配器上的单样本梯度,对训练数据进行聚类排序,精准揪出导致特定能力丢失的“毒数据”。它还能自动检测序列截断、缺少 EOS 符号等隐蔽的配置错误。作者还分享了一个反直觉发现:格式完美的恶意数据会被常规梯度误判为有益,需通过减去模型实际输出的梯度才能将其准确识别。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →