.90 胜过 的… · AGI Hunt

Ising 优化修复推理死循环,$0.90 胜过 $312 的 GPT-6

Tree-Ising: Repairing Language Models with Bit-Level Ising Edits

Hadi Salloum, Ammar Ali

cs.LG

2026-11-10

把 GPT-6 agent 的权重修复变成逐行 Ising 优化:MATH-500 54.6% 对 51.7%,成本 $0.90 对 $312,零 LLM token。

这篇在解决什么

Qwen3.5-0.8B 开 thinking 模式后会陷入推理死循环:93% 的 MATH-500 题目在 32k token 上限内重复同一段文本,给不出结论,准确率只有 7.9%。MIT 的 Takehi et al. 证明了权重空间确实能修:让 GPT-6 Astra agent 读权重、做 forward pass、直接写修复,改掉两层 MLP 输出投影的 64 列,MATH-500 升到 48.1%。代价是 158 轮对话、8970 万 token、50 次 forward-pass 请求、15.6 小时、312 美元。每一步决策都在自然语言里做,没有任何证据表明这个编辑是可用的最优解。

这篇把同一件事变成数学题。

方法

Tree-Ising 分五步:

关键设计是把「用哪个 move」提前定死,每个候选权重只剩「改或不改」的二元决定,问题才落得进 QUBO 格式。

结果

设置MATH-500@4GSM8K@1MATH-500 截断率
Base model(报告值)7.9%13.8%93%
GPT-6 agent 编辑51.7%65.6%31.6%
Tree-Ising(退火)54.6%70.5%23.9%
Tree-Ising(分岔)55.1%70.8%23.9%

同一评测协议下,五个数学 benchmark(MATH-500、GSM8K、AMC23、Minerva、OlympiadBench)全部超过 agent 编辑,MATH-500 和 GSM8K 的优势过 Bonferroni 校正后仍显著。agent 原报告 48.1%,在该 harness 下复测 51.7%,与第三方复现的 51.0% 接近。成本:4 次 forward-pass 请求对 50 次,31 分钟对 15.6 小时,$0.90 对 $312,零 LLM token。编辑更小:改动权重少 13%,BF16 bit 翻转少 2.2 倍,按构造不写任何共享指数和尾数;agent 编辑改写了近 13 万个尾数。

Qwen3.5-2B 上,层和剂量都只从 base model 决定,同一配方把 greedy GSM8K 从 21.6% 提到 69.4%,截断率从 77.9% 降到 26.7%,整条流水线单卡 26 分钟。这个模型只要答完就有 97.9% 是对的:问题不在解题能力,在停不下来。

消融划清了各组件的贡献。去掉收尾方向,循环压住了但模型照样不结束,准确率卡在 40 多;同目标的连续闭式解(rank-one,结构类似 ROME)准确率相当,但要改 96% 的权重、bit 翻转多 103 倍。

为什么重要

对做模型编辑的人,信号很直接:agent 在这个任务里的判断可以被完全形式化,形式化之后准确率更高、编辑更小、成本降两个数量级。$312 对 $0.90 的真实含义是「发现」对「应用」:贵的部分是找到失败模式和方向,求解本身不值钱。

Ising 形式还附带一条路:这些问题是量子退火和 QAOA 的原生输入。论文在 IBM Heron 处理器上跑了 8 变量的子问题,深度 2 的 QAOA 在 1,024 shot 里 110 次采到最优,均匀对照只有 4 次。

局限与存疑

论文自列的局限都在要害上:

模拟退火、simulated bifurcation、连续闭式解三者的准确率统计上不可区分,说明逐行问题对经典求解器不难。这篇的价值在形式化,量子部分只证明映射可行,离优势很远,论文自己也这么写。

术语

原文与代码

社区讨论

相关论文

全部论文解读