零阶优化论文众多但未适配 Dust，或可用研究 agent 批量重测

burny_tech · x · 2026-10-22

apazcli 指出，已有大量零阶优化（ZO）论文给出类似结果，各种优化器用不同技巧选择扰动方向，但这些方法显然需要适配 Dust 框架后重新测试，预计结果不会有实质提升，不过值得安排一批研究 agent 去做。真正的圣杯是在预训练场景下解决大规模网络的问题——我们仍不理解损失景观发生了什么导致 SPSA 类算法失效，弄清这一点价值巨大。