Qwen3.5-2B 浏览器内跑到 620 tok/s,比 WebLLM 快 6.6 倍
tixiren · reddit · 2026-11-03
开发者 tixiren 发布了 webyIQ,一个按模型专门化定制的浏览器 LLM 引擎:Rust 编译为 wasm,配合手写 WGSL kernel,针对 Qwen3.5-2B(Gated DeltaNet + gated attention)和 MiniCPM5-2B 优化。
实测成绩(同模型同 prompt、greedy、Chrome 156):RTX 5080 上生成速度 620 tok/s(无投机解码为 417),对比 WebLLM 0.2.87 的 94 和 transformers.js 4.3 的 31;约 1k token prompt 首响应 0.20s(WebLLM 0.81s、transformers.js 约 129s);AMD 2-CU 核显上仍有 37 tok/s(WebLLM 仅 4.7)。
技术要点:
- 融合 int4(GPTQ, group 32)× int8 GEMV/GEMM,使用 dot4I8Packed 与 subgroups
- 解码循环全程驻留 GPU(GPU 上做 argmax、流水线回读)
- 利用 Qwen3.5 内置 MTP 头做投机解码,GPU 上验证草稿,输出与 greedy 完全一致,且在不划算时(如核显)自动关闭
- 权重量化后 WikiText 困惑度相对 bf16 仅 +2.4%,体积 1.1GB
附赠能力:这个速度下 2B 模型可以以 0.2–0.4 秒每步通过 DOM 驱动网页,附带浏览器 agent demo 和 Chrome/Edge 侧边栏扩展。项目为原型,仅在 Windows 测试,开源(Apache-2.0),权重已上传 Hugging Face。
「编程与Agent」频道最新
- 从聊天机器人到 Agent：工具、规划、记忆三步演进的故事化讲解 — _jaydeepkarale · 2026-11-04
- 币安 70 亿美元被盗：攻击链起点竟是一次 vibe coding 装错 Homebrew — xuanalogue · 2026-11-04
- 花 100 美元 GPU 费改模型权重,思考 token 省 40% — jarrodwatts · 2026-11-04
- Cua Driver 携手 Google Antigravity，智能体可后台跨应用操作电脑 — m4rkmc · 2026-11-04
- Sentdex 考古：OpenHands 是最早抽象掉代码编辑器的编程智能体之一 — rajistics · 2026-11-04
- Anthropic 发布安全公告：AI Agent 应默认跑在托管云环境里 — amasad · 2026-11-04