用户实测 Flare 推理引擎达 400+ tok/s

在讨论 Hugging Face 推理性能的线程中,有用户推荐尝试 Flare 引擎,并给出实测速度 400+ tokens/s。随后 capetorch 补充说明,该速度是在投机解码接受率较高的场景下取得的,例如代码生成任务,提示实际表现与任务类型相关。

2026-11-22 ~ 2026-11-22 · 2 条相关