FlashMap 流图推测解码：单次前向起草整块 token，Qwen3-8B 提速超 6 倍
kalyan_kpl · x · 2026-10-20
普林斯顿/USC 等机构发布 FlashMap，一种基于流图（flow map）的推测解码算法，在 Qwen3-8B 上实现超 6 倍推理加速，且输出与目标模型完全一致。工作原理：- 每轮从目标模型若干层读取 hidden states，用一次流图评估把高斯噪声直接映射为下 K 个 token；- 起草器是 DiT，交叉注意力目标模型 hidden states，单次前向同时起草 K 个位置；- 目标模型一次前向验证全部 K 个 token，保留最长一致前缀。与自回归起草器（准确但慢）和 DFlash 等离散扩散并行起草器（快但忽略 token 间依赖）不同，FlashMap 既并行又自洽，能建模块内联合分布。Qwen3-8B 与 Qwen3-4B 的起草器已在 Hugging Face 发布，支持 Transformers/vLLM/SGLang。单卡 H100、greedy 解码、并发 1 测试。
「Infra」频道最新
- idle GPU 别闲着：CoreWeave 方案让 agent 自动排队做研究 — _ScottCondron · 2026-10-20
- 曝华为 960DT 算力 2027 年大部分供给 DeepSeek 超级集群 — teortaxesTex · 2026-10-20
- €550 二手工作站装双 3060 跑 MoE,求社区排查配置坑 — ElekDn · 2026-10-20
- NVIDIA GTC Berlin 10 月 21 日开幕，黄仁勋主题演讲现场直播 — IanAndrewsDC · 2026-10-20
- 美国 DOE 押注自主实验室，电网互联成 AI 扩张瓶颈 — ingliguori · 2026-10-20
- GCP 伦敦区 europe-west2 出现故障，大量用户报告服务异常 — jack7e · 2026-10-20