LLMs are General Asynchronous Agents
George Yakushev, Denis Mazur, Vladimir Bartenev, Vyacheslav Zhdanovskiy, Timofey Byzov, Vladimir Kaurkin, Vadim Pastushenko
cs.LG, cs.CL
2026-09-28
提出 AsyncLLM 框架，用 asyncio 协程共享 KV 与 GDN 状态，现成 Qwen 3.x 免训练同时做流式视频理解、游戏控制和日志监控。SoccerNet AUROC 0.677，高于专用 Mage-VL 的 0.555。
LLM agent 默认按 Thought-Action-Observation 转：读完再想，想完再行动。语音助手要边听边想还要被打断；监控日志持续涌进来；车和机器人不能等推理结束再转向。这些场景的输入不会排队等你。
业界把每种并发拆成独立课题。全双工语音模型、流式视频专用架构、VLA 的 actor-thinker 双环、异步 function calling，各自准备数据、各自写推理栈。这篇把问题收成一句：现成 LLM 能不能像通用工具使用那样，不微调，覆盖多种并发形态。
框架叫 AsyncLLM，接口就是 Python asyncio。开发者或模型自己定义多支 inference coroutine。每支把内部状态写入一块 CacheBlock：这段连续 token 的 attention KV，以及 hybrid 层里 Gated Delta Network（GDN）的仿射转移。GDN 是固定大小的线性注意力递推状态，不存全量 KV。
一次 forward 只写一块，但用 cache view 按任意顺序看见多块。像几个人共用一块白板，各写各的栏，眼睛可以扫到别人正在写的字。若这些块原本按顺序编码，拼起来等价于普通 KV cache。多支协程互相看着往前推时，状态不再对应任何串行轨迹，实验里模型仍能读。同步不靠把对方的 token 再 encode 一遍，新 token 直接出现在共享注意力里。
三类层分开处理：
引擎架在 mini-SGLang 上。各协程的 prefill 和 decode 进同一 batch；长 prefill 切块，避免反应协程被背景思考堵住。
流式视频 agent 拆成五件并发：逐帧 event probe、后台 thinker、output probe、description writer、非 LLM 的结果汇编。probe 不另训，同一基座加预填 prompt，一次 forward 判断这帧值不值得写。游戏版把 thinker 改成规划动作，再用一支更快的 action 协程把计划落成逐帧按键，并带提前退出的 probe。
Sanity check 两套。MATH-500-Sharded 把 500 道数学题拆成残缺题面加中途澄清；ShardedVQA 用 513 对改错图，先看错图，k 步后再换正确图。Qwen 3.x hybrid 能在推理中途吃进文本和图像更正。视觉准确率随 k 掉得更快：这类题平均推理更短，k 偏大时答案可能已经写完。
流式视频对照专用模型 Mage-VL：
| 方法 | SoccerNet AUROC | SoccerNet TriggerAcc | ProactiveVideoQA PAUC | TriggerAcc |
| Qwen3.5-9B | 0.677 | 62.82 | 0.541 | 52.99 |
| Qwen3.8-27B | 0.608 | 54.88 | 0.504 | 52.45 |
| Qwen3.6-35B-A3B | 0.651 | 62.55 | 0.539 | 52.30 |
| Mage-VL | 0.555 | 52.79 | 0.428 | 43.27 |
SoccerNet 官方协议不评描述质量。9B 的 SoccerNet TimVal 为 39.62，Mage-VL 为 27.87；ProactiveVideoQA 全量 TimVal 为 17.19 对 10.03。更大的 Qwen 在 ProactiveVideoQA 上描述更准。论文把这写成通用 MLLM 的附带收益。
ViZDoom 的 HealthGathering 和 DeadlyCorridor（frame skip 4，100 局）。Qwen3.6-35B-A3B 上，人手写的 AsyncLLM 比顺序 agent 从观察到动作的平均前向步更少，回报仍接近带推理的顺序版；只跑 probe 的基线更快，回报更低。论文未给出这两张图的逐点数值，结论停在「能跑、能更快」，并写明不是这些游戏的最强成绩。让模型读环境说明自己写协程，HealthGathering 开局可用，DeadlyCorridor 更差，整体还不稳定。
系统监控用 DevOps-Gym Monitoring 34 题，日志按行切块，上限 1 秒或 1024 字符。所有方法都加了反走神 prompt，只盯资源类问题。Qwen3.6-35B-A3B：
| 方法 | 准确率 | 前向步 | 答完时已见事件 |
| 顺序 agent | 61.76% | 8452 | 100% |
| 每块可提前回答 | 47.06% | 6641 | 58.71% |
| 可跳过该块 | 26.47% | 3686 | 65.86% |
| AsyncLLM | 55.88% | 3837 | 55.49% |
9B 同结构：AsyncLLM 准确率 41.18%，顺序版 47.06%；前向步 2582 对 8726。去掉反走神 prompt，35B-A3B 会在无关问题上想太久，跟不上实时日志，准确率掉到 10% 以下。监控任务里 AsyncLLM 平均 2.06 支活跃协程。
1×H200 合成 decode 吞吐随协程数上升，论文给出的最高档从 1 支 106 tok/s 到 8 支 552 tok/s。ProactiveVideoQA 纯视频约 2.5 到 4.4 倍实时，加上音频约 1.4 到 1.8 倍。
并发不一定要再训一套语音模型或流式 VLM。能跑 Qwen 3.x、能写 asyncio 的人，可以把「边看边想」「边监控边总结」写成普通协程。Yandex、Together AI 与 HSE 把参考实现公开了。
这是能力迁移，不是新基座。视频上超过 Mage-VL，很大程度是通用模型描述更好，异步调度并没有单独证明自己压过专用事件检测。游戏不是最强。监控用大约一半前向步，换大约 6 个百分点准确率。有真实并发 I/O 才值得接；拿它去刷静态题收益有限。
模型自己改自己的协程只露出苗头。若后续像工具使用那样把异步训进去，API 会从一次请求一次回复，变成把 agent 定义丢进实时环境。
自写协程不稳定，游戏只证明能跑，通用 agent 在专用域上并不总赢专门训过的模型。这些是论文自己写的。伦理部分还指出：快协程可能在慢思考拦住之前就输出错误动作；自修改必须沙箱。
主结果几乎全是 Qwen 3.x。SoccerNet 不评解说质量，视频赢 Mage-VL 没有把 probe 和描述拆开消融。ShardedVQA 的错图是合成的，生成模型参与了造数据和清洗。监控只有 34 题，强依赖那段反走神 prompt。语音全双工和真机器人实验没做。互相写入的 cache view「不等价于串行推理但模型仍能读」，除这几组任务外没有更硬的正确性证明。