LFM2.5-24B-A2B 搭配 TandemLLM 单卡 DGX Spark 跑出约 300 tok/s
JosephJacks_ · x · 2026-10-15
Liquid AI 的 LFM2.5-24B-A2B 现已适配 TandemLLM，可在 DGX Spark 上一键安装，实测约 300 tok/s 聊天速度。
作者还自制了 EXL3 量化版本（2.5–6.0 bpw）：默认 3.5 bpw 仅占 11.2 GB 内存即可达 151 tok/s 解码，与 BF16 输出一致率 86.7%；在编辑/复制类任务中，lookup drafter 可将速度推至 269–414 tok/s，输出与普通解码相同。
「Infra」频道最新
- Go 1.27 改进 HTTP/1 连接复用,百次请求快近 5 倍 — rakyll · 2026-10-15
- 《Model-Driven DevOps for Big Data Applications》开源教材收录上架 — burkov · 2026-10-15
- 3900MW 负载一分钟掉线:AI 训练的电力「抖动」正冲击电网 — FinanceYF5 · 2026-10-15
- Modal 年化收入破 10 亿美元,再融 7.5 亿美元估值 157.5 亿 — charles_irl · 2026-10-15
- Lium 称闲置 GPU 上架 1 小时内即被租出 — const_reborn · 2026-10-15
- KOSPI 自高点暴跌 40%,韩国成全球最纯粹的 AI 赌局重灾区 — SumitGup · 2026-10-15