只喂正确答案也能学会化学，实测曝某化学基准存捷径
tak3sh8 · x · 2026-10-06
作者 tak3sh8 在用小模型对一个化学数据集做 SFT 时发现意外现象：微调时只给出选择题的正确答案（不含解题过程），模型竟然也能学到不少化学知识。
他随后查明原因： mystery 解开——该基准存在可被利用的捷径（shortcut），模型无需真正理解化学即可答对。作者由此提醒使用者在选型该数据集时要当心，并得出结论：这个化学基准现状相当糟糕，不宜直接采信。
所属事件:小模型只喂答案也能涨分，化学基准被曝存捷径(2 条相关)→
「研究」频道最新
- tszzl:对齐要成为工程学科,起码得先攻克机制可解释性 — tszzl · 2026-10-06
- 因果决策研究亮相可信 AI 研讨会，录像已公开 — murat_kocaoglu_ · 2026-10-06
- Claude 突破 3SUM 复杂度下界，给出 O(n^1.9992) 算法附 Lean 证明 — thegautamkamath · 2026-10-06
- ReSteer 开源：修复 VLA 执行中途无视新指令的可控性缺陷 — siddkaramcheti · 2026-10-06
- 研究者携「推理模型潜空间策略状态」解读工作参加 COLM — hunarbatra · 2026-10-06
- COLM 2026 论文:推理微调会在 LLM 潜空间中留下持久策略状态 — hunarbatra · 2026-10-06