让小模型直接改 convnet 权重：解释推理像常识，但确有提分

dansitu · x · 2026-11-03

dansitu 继续测试让 LLM 分析并修改一个小型卷积音频分类器（鸟类叫声识别）的权重。模型给出的推理说明相当“常识”——比如把最后一层在时间维度上的 25 组读出权重取平均、针对频繁误报鹦鹉的问题把 parakeet 偏置降低 1.0（等效将其相对胜率乘约 0.37）、尝试噪声回退和加强麻雀检测器后又在完整开发集上否决——但确实有效，在这个小分类器上已带来可观提升。作者认为这类解释并未体现“理解权重”到人类数据科学家做不到的程度，只是小模型本身易于分析、且效果不可否认；他计划下一步让模型在给定特征集、不做训练的情况下从零生成权重。