网友用 wllama 在 Rabbit R1 上跑通 Qwen3.5-0.8B 4-bit 量化
ngxson · x · 2026-10-19
开发者 mervenoyann 发推称无法直接下载 llama.cpp,于是改用 ngxson 的 wllama(基于 WASM 的 llama.cpp 浏览器绑定)在 Rabbit R1 上运行了 Qwen3.5-0.8B 的 4-bit 量化版——这也是 "Qwen3.5" 这一未正式发布型号名的一次提前现身。ngxson 转发调侃「llama.cpp,那只兔子彻底熟了」,玩的是 Rabbit R1 的品牌梗。
亮点在于:一台以翻车著称的 AI 硬件,靠浏览器端 WASM 推理方案也能跑通最新的小模型,wllama 这条路径对想在各种受限设备上本地跑 LLM 的人有参考价值。
「Infra」频道最新
- Nebius 通过 NVIDIA Exemplar Cloud 认证:HGX B300 训练环境获官方背书 — DavidLinthicum · 2026-10-19
- Surface Laptop RTX Spark 实测 Qwen 27B:解码 20.7 tok/s — draginol · 2026-10-19
- 2026 年搞算力像找黄牛:预付款、SPV、电力还延期 — marksaroufim · 2026-10-19
- AI Toolkit 新增 Qwen 3.8 27B LoRA 训练:5090 上 70-80 tok/s 自动打标仅用 20GB 显存 — ostrisai · 2026-10-19
- RTX 5080 笔记本实测 Qwen 27B:预填 441 tok/s 但解码仅 9.1 tok/s — draginol · 2026-10-19
- vLLM 官宣提速约 2 倍:agent 自动生成融合模型定义改写推理优化 — mohbibi_ · 2026-10-19