Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16
No-Dragonfly6246 · reddit · 2026-10-27
Embedl 团队发布 Qwen3.8-27B 在 Jetson AGX Thor 上的高速度部署方案,batch 1 下解码 39.6 tok/s、端到端 23.6 tok/s,峰值显存 24.8 GiB。
关键技术与成绩:
- 自研 INT4 量化,误差约为标准 AWQ 的一半
- FlashHead:262k 词表的输出层只对候选词打分,大幅降低 batch 1 开销
- MTP 投机解码 + TensorRT Edge-LLM 0.10.1 底座
- 精度对比 FP16:GSM8K 96.4(96.1)、IFEval 83.5(81.9)、MMLU-Pro 79.1(79.5),多项反超
对比 Jetson AI Lab 用 llama.cpp Q4KM+MTP 约 35 tok/s 且不公布精度的方案,此方案同时给出精度与能耗数据。提供 embedl 命令行与 OpenAI 兼容 API,容器约 1GB,权重约 20GiB,还可在浏览器里直接在 Thor 上试跑。
「Infra」频道最新
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27
- EdgeRock-4B KV cache 256K 上下文仅 72 MiB,比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27