Qwen3 27B 开启 embeddings 后生成速度直接减半
No_Advance3911 · reddit · 2026-09-15
有用户在 llama.cpp 中测试 Qwen3 27B 的内置 embeddings 支持，发现效果尚可，但代价明显：开启 embeddings 后 token 生成速度比正常运行减半。
帖主向社区求教：有没有办法让 embeddings 保持开启的同时不影响生成性能；或者 llama.cpp 能否在不同任务间切换而不必每次卸载重载模型。这是一个本地部署场景下多任务复用同一模型的实际工程问题。
「Infra」频道最新
- Altman：单次 AI 查询能耗 3-4 年降千倍至十万倍 — rohanpaul_ai · 2026-11-02
- Marvell 与 Lumentum 合并，瞄准 5500 亿美元 AI 连接市场 — BenBajarin · 2026-11-02
- 三星会长亲赴日本先进封装实验室,5 年投 400 亿日元扩研 — pstAsiatech · 2026-11-02
- Altman 亲赴韩国会晤三星高管,加码存储芯片与 AI 基建合作 — pstAsiatech · 2026-11-02
- 模拟 20 万个月数据：五套家用 AI 主机，仅一套亏钱 — LeviTurk · 2026-11-02
- 印度 AI 算力公司拟融资 30 亿美元,采购英伟达下一代芯片 — pstAsiatech · 2026-11-02