Tree-Ising：90 美分修复小模型推理循环，胜过 LLM 权重编程
pmttyji · reddit · 2026-11-11
新论文 Tree-Ising 将「LLM 权重编程修复模型」转化为 BF16 权重上的稀疏离散优化问题：- 背景：MIT 的 weight-space programming 用 GPT-6 Astra agent 读取 Qwen3.5-0.8B 权重并写修复，解决其思考模式中的推理循环（MATH-500 仅 7.9%），代价是 158 轮 agent、8970 万 token、约 15.6 小时、每次修复 312 美元。- Tree-Ising 用前向统计定义目标函数（削弱循环方向、强化结论方向、保持有效输出），把目标精确分解为逐行的 QUBO/Ising 问题，用 GPU 模拟退火或量子启发的模拟分岔求解，只做保组指数与尾数的符号翻转和指数移位。- 结果：MATH-500 达 54.6%，超过 agent 修复的 51.7%（基线 7.9%）；模拟分岔达 55.1%。少改 13%17% 权重，bit 翻转减少 2.22.3 倍，只需 4 次前向请求、零 LLM token，退火成本约 0.90 美元 GPU 时间、31 分钟。- 迁移：仅用基线模型选层与剂量，同样配方把 Qwen3.5-2B 的 greedy GSM8K 从 21.6% 提到 69.4%。- 还在 IBM Heron 量子处理器上用 QAOA 跑通了八变量修复子问题作为概念验证。
所属事件:Tree-Ising：免梯度位级编辑修复 LLM 推理死循环(2 条相关)→
「研究」频道最新
- 数学家自省 AI 危机：证明几小时出炉却无人能验证真伪 — ValerioCapraro · 2026-11-11
- 可训练望远镜模型助力 Nature 论文：灵敏度提升 2–15 倍发现系外行星 — bravo_abad · 2026-11-11
- Ben Todd 发图:任务时长外推曲线或于 12 个月内抵达奇点 — ben_j_todd · 2026-11-11
- Eva Jablonka 提出心像缺失与语言演化关系的新概念框架 — AnnaCiaunica · 2026-11-11
- BioAgent-DF 论文：硬件静默数值故障可悄悄改变科研 Agent 决策 — INTOSYN-AI-Labs · 2026-11-11
- Mobile AI Factory：智能体流水线为手机自动造专用小模型，胜过五次提示前沿模型 — kalyan_kpl · 2026-11-11