社区魔改让 llama.cpp 直接跑 Ling-3.0-tiny DFlash 草稿,代码生成提速 61%
Barni275 · reddit · 2026-10-23
一位本地推理用户在新发布的 UBTree DFlash(Ling-3.0-tiny 的投机解码草头)尚无推理引擎支持时,自己动手将其中的纯 DFlash 部分抽取出来,丢弃 7 个 ubtreeselector 张量,成功在原生 mainline llama.cpp 上以 dflash drafter 运行。
- 实测提速:散文生成 78.8→84.8 tok/s(+8%,接受率 0.28);Python 代码生成 79.0→127.2 tok/s(+61%,接受率 0.53)
- 方法:仅给 llama.cpp GGUF 转换器打了小补丁,其余全为原版;转换好的模型与完整流程已发布到 Hugging Face(yury-kapoyko/Ling-3.0-tiny-UBTree-dflash-GGUF)
- 展望:若 llama.cpp 原生支持完整 UBTree,加速空间应更大
代码生成收益远高于散文的原因是草稿接受率翻倍(0.53 vs 0.28)。
「Infra」频道最新
- You.com 发布 Inference Router：一行代码接入 Kimi K3 等开源模型，宣称降本 75% — RichardSocher · 2026-10-23
- You.com Inference Router 一行代码切换:已接入 Kimi K3、GLM 5.3、Qwen3.8 等 — RichardSocher · 2026-10-23
- You.com 推企业级 Inference Router:99.9% SLA 免平台费 — RichardSocher · 2026-10-23
- Together 推出 Post-Training 服务,Deel 数小时上手同一 GPU 跑 5 个 RL 实验 — togethercompute · 2026-10-23
- 安全必须左移：补丁已出仍遭利用，全球协同成本正在爆发 — fforres · 2026-10-23
- Berth 开源:一张 RTX 4090 在聊天模型、ComfyUI 和游戏间按需租借 — Distinct-Pie2389 · 2026-10-23