Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
Hadi Salloum, Ammar Ali
cs.LG
2026-11-10
把 GPT-6 agent 的权重修复变成逐行 Ising 优化:MATH-500 54.6% 对 51.7%,成本 $0.90 对 $312,零 LLM token。
Qwen3.5-0.8B 开 thinking 模式后会陷入推理死循环:93% 的 MATH-500 题目在 32k token 上限内重复同一段文本,给不出结论,准确率只有 7.9%。MIT 的 Takehi et al. 证明了权重空间确实能修:让 GPT-6 Astra agent 读权重、做 forward pass、直接写修复,改掉两层 MLP 输出投影的 64 列,MATH-500 升到 48.1%。代价是 158 轮对话、8970 万 token、50 次 forward-pass 请求、15.6 小时、312 美元。每一步决策都在自然语言里做,没有任何证据表明这个编辑是可用的最优解。
这篇把同一件事变成数学题。
Tree-Ising 分五步:
关键设计是把「用哪个 move」提前定死,每个候选权重只剩「改或不改」的二元决定,问题才落得进 QUBO 格式。
| 设置 | MATH-500@4 | GSM8K@1 | MATH-500 截断率 |
| Base model(报告值) | 7.9% | 13.8% | 93% |
| GPT-6 agent 编辑 | 51.7% | 65.6% | 31.6% |
| Tree-Ising(退火) | 54.6% | 70.5% | 23.9% |
| Tree-Ising(分岔) | 55.1% | 70.8% | 23.9% |
同一评测协议下,五个数学 benchmark(MATH-500、GSM8K、AMC23、Minerva、OlympiadBench)全部超过 agent 编辑,MATH-500 和 GSM8K 的优势过 Bonferroni 校正后仍显著。agent 原报告 48.1%,在该 harness 下复测 51.7%,与第三方复现的 51.0% 接近。成本:4 次 forward-pass 请求对 50 次,31 分钟对 15.6 小时,$0.90 对 $312,零 LLM token。编辑更小:改动权重少 13%,BF16 bit 翻转少 2.2 倍,按构造不写任何共享指数和尾数;agent 编辑改写了近 13 万个尾数。
Qwen3.5-2B 上,层和剂量都只从 base model 决定,同一配方把 greedy GSM8K 从 21.6% 提到 69.4%,截断率从 77.9% 降到 26.7%,整条流水线单卡 26 分钟。这个模型只要答完就有 97.9% 是对的:问题不在解题能力,在停不下来。
消融划清了各组件的贡献。去掉收尾方向,循环压住了但模型照样不结束,准确率卡在 40 多;同目标的连续闭式解(rank-one,结构类似 ROME)准确率相当,但要改 96% 的权重、bit 翻转多 103 倍。
对做模型编辑的人,信号很直接:agent 在这个任务里的判断可以被完全形式化,形式化之后准确率更高、编辑更小、成本降两个数量级。$312 对 $0.90 的真实含义是「发现」对「应用」:贵的部分是找到失败模式和方向,求解本身不值钱。
Ising 形式还附带一条路:这些问题是量子退火和 QAOA 的原生输入。论文在 IBM Heron 处理器上跑了 8 变量的子问题,深度 2 的 QAOA 在 1,024 shot 里 110 次采到最优,均匀对照只有 4 次。
论文自列的局限都在要害上:
模拟退火、simulated bifurcation、连续闭式解三者的准确率统计上不可区分,说明逐行问题对经典求解器不难。这篇的价值在形式化,量子部分只证明映射可行,离优势很远,论文自己也这么写。