Hugging Face transformers 早已内置投机解码:generate 传 assistant_model 即可
cephaloform · x · 2026-11-18
一个常被忽略的实用点:投机解码(speculative decoding)功能其实早已内置于 Hugging Face transformers,不需要额外装库或自己实现——在调用 model.generate() 时传入 assistantmodel= 指向你的草稿模型即可启用,由小模型起草、大模型验证,加速生成。
「Infra」频道最新
- NVIDIA 上调 FY2028 营收指引:同比增速升至约 75% — firstadopter · 2026-11-18
- Nvidia 本季未随财报同步提交 10-Q,打破多年惯例引质疑 — churchkey · 2026-11-18
- TensorScale 推理新主页:逐阶段可视化生成链路并公开对比实测数据 — TerryTangYuan · 2026-11-18
- GPT-6.2 Astra 发布 4 小时即上架第三方 API,便宜 12.4% — markjeffrey · 2026-11-18
- SpaceX 拟 2027 年发射首批 AI 计算卫星,2029 年实现吉瓦级算力 — Polymarket · 2026-11-18
- 微软发布 7 款高性价比模型与第二代 Maia 200 加速器 — iJeff · 2026-11-18