小模型只喂答案也能涨分，化学基准被曝存捷径

开发者 tak3sh8 在用小模型对某化学数据集做 SFT 时发现异常：微调时仅提供选择题正确答案、不含解题过程，模型也能学到不少化学知识并提升表现。深入排查后他确认该数据集存在多处捷径，后续补充推文指出其他化学题也有类似问题，最终结论是这个化学基准现状相当糟糕，使用时需警惕模型靠捷径而非真实化学理解拿分。

2026-10-06 ~ 2026-10-06 · 2 条相关