开发者实验：给函数造自编码器太难，低维搜索或是本地 FunSearch 出路

cephaloform · x · 2026-10-24

开发者 @cephaloform 在与 @VictorTaelin 讨论中分享了实验教训：想为「函数」训练自编码器，但没有 agent 在环的数据集构建极其痛苦，效果也不好，计划改用 3.8-27B 模型重写重跑。

他还指出 batch size 需求是最大瓶颈，猜测要让本地/消费级 GPU 上 boost 版 FunSearch 可行，必须把搜索压到极低维度——比如 soft prompt tuning，或只在单层上挂一个 LoRA。附带的 HF 数据集 crumb/functions-sample 收录了 1 万-10 万条结构化函数文本样本。