FrugalEvo: Towards Cost-Aware LLM-Guided Program Evolution
Hui Chen, Xuan Qi, James Xu Zhao, Zhaopeng Feng, Shilong Liu, Kuang Xu, Pang Wei Koh, Bryan Hooi
cs.NE, cs.AI, cs.CL
2026-10-03
FrugalEvo把出策略交给贵模型、写码交给便宜模型,数学与系统共10项任务里9项BA-AUC高于OpenEvolve等基线,圆填充花0.55美元做到半径和2.63599。
AlphaEvolve、OpenEvolve、ShinkaEvolve 让大模型反复改程序,用评测分留下好的版本当父本。贵模型和便宜模型每一步的价钱可以差一个数量级,轮数对齐不等于花费对齐。
这类任务里,LLM 推理往往比评测器更贵。同样的终点分,预算烧完才摸到,和前 0.2 美元就站住,实用差别很大。FrugalEvo 改成在固定费用里尽量抬高质量,并用 BA-AUC 看整段花钱曲线。BA-AUC 是预算内「迄今最优分数」对累计 LLM 费用的积分。跑不满预算时,分数保持到预算终点再算面积。
一次候选拆成两步。贵模型只出策略,一次调用给出多条不同改法,写清改哪一段、为什么可能涨分、计算量上限。便宜模型负责写码:每条策略先做一版试跑并按分数排序,再逐条打磨。打磨时父程序先不动,在设定的尝试次数内连续改;一旦超过当前最优,新程序立刻成为父本,同一策略继续。一条策略磨不动,就换下一条。
正式出策略前有冷启动。示例程序通常很弱,直接交给贵模型会把预算花在差策略上。便宜模型先把示例改到分数不再涨,这份程序成为第一任父本。
提示按前缀缓存排列。任务说明和输出格式在最前,岛内最优和精英程序次之,随机样本靠后,新反馈贴在末尾。相同前缀可以复用 KV,输入按缓存价计。种群用分岛 MAP-Elites 留多样性,并记下策略成败。预算不够再叫一次模型就停。
两组对照,预算按美元对齐,各 3 次取均值。FrugalEvo 用 GPT-5.6 Terra 出策略、Luna 写码,基线全程只用 Terra。数学任务 2 美元,系统和算法任务 1 美元。另一组是 GLM-5.3 配便宜档 Flash,基线只用 GLM-5.3,数学 1 美元、系统 0.5 美元。Terra 每百万 token 输入 2 美元、输出 12 美元,Luna 是 0.20 和 1.20。
圆填充要在单位正方形里放 26 个可变半径的圆,最大化半径和。初始程序 0.95976。GPT 组合最好 2.635996,到达该解花 1.68 美元;GLM 组合 2.635990,花 0.55 美元。AlphaEvolve 公布值是 2.635000。CORAL 和 SwarmResearch 大约分别做到 2.635985 和 2.635996,平均花费约 50 美元。GPT 组合打平 SwarmResearch,GLM 组合低 0.000006,仍高于 CORAL。同一 GLM、1 美元预算下,FrugalEvo 均值 2.635422,次优 AdaEvolve 2.618077,OpenEvolve 2.555418。这项上的单步均价,FrugalEvo 是 0.0097 美元,OpenEvolve 是 0.0435 美元。
饱和题上终点分几乎贴住。GPT 预算下,EvoX 的圆填充均值已有 2.635420,FrugalEvo 是 2.635989。差距出在信号滤波和事务调度。信号滤波上,FrugalEvo 均值 0.77791、最好 0.78912,AdaEvolve 是 0.72031 和 0.73677,OpenEvolve 均值只有 0.55003。三者 BA-AUC 分别是 1.4819、1.2520、1.0802。事务调度上,FrugalEvo 均值 4252.1、最好 4405.3,OpenEvolve 是 4091.9 和 4237.3。这三条曲线都在前 0.2 美元建立领先,并保持到预算结束。
10 项数学与系统任务里,终点质量大多持平或更好,BA-AUC 有 9 项更高。没更高的是 Cloudcast 的 GPT 配置,几家终点费用都挤在 618.1 附近。四道有 AlphaEvolve 数字的数学题,两组里更好的结果可以打平或超过公布值。Heilbronn 凸形和三角形只有 GLM 组够到 0.03094 和 0.03653。ALE-Bench-Lite 十道题都从 ALE-Agent 的程序出发,私有分均值 FrugalEvo 1924.9,OpenEvolve 1887.5,AdaEvolve 1881.9。
消融在信号滤波上最清楚。Terra 既出策略又写码,均值掉到 0.68534;只用 Luna 是 0.74865;完整分工是 0.77791。贵模型包办时掉得更多,论文把原因归到写码调用吃掉预算。去掉冷启动降到 0.75576,去掉逐次反馈降到 0.76072,波动变大。
写码和修错占掉大部分调用,策略对解的形状影响更大。贵模型留在出策略,一次调用吐出多条;便宜模型按排序逐条实现和修补。
预算按美元设,用 BA-AUC 看谁更早把分做上去。提示前缀对齐之后,Terra 的缓存读是每百万 token 0.20 美元,正常输入是 2 美元。论文没单独给出缓存命中率,这块收益和模型分工缠在一起。
信号滤波相对 AdaEvolve 从 0.72031 提到 0.77791,相对 OpenEvolve 从 0.55003 提到 0.77791。事务调度最好分从 4237.3 到 4405.3。质量上是渐进改进。费用上,圆填充打平大约 50 美元的多智能体结果,GLM 组合花 0.55 美元,GPT 组合花 1.68 美元。
论文写了两条边界。循环假定候选程序能在代码里自动跑完并打分,湿实验这类要跟物理世界交互的问题接不上。策略提示是为计算优化手工写的,不会按任务自动生成。
每格只有 3 次运行。Cloudcast 在 GLM 上,AdaEvolve 的标准差到 216,均值不稳。BA-AUC 对提前结束的运行把分数拉平到预算终点,较早见到好分数的方法会一直占着后面的面积。缓存没有单独消融。AlphaEvolve 的费用在图里标成未知,不能按单价对比。
基线被锁在贵模型上。Terra 全程和 Luna 全程的消融补了对照,两者在信号滤波上都更差。OpenEvolve 如果也能调用 Flash 或 Luna,差距还剩多少,论文没测。圆填充最后几位,论文写明是在评测器容差内把半径再抬一点。这算不算更优构型,没有专家复核。伦理声明也写明,这 20 个任务的程序只经过自动评测。