双 P40 跑通本地图书翻译:Gemma 译 Qwen 改

neowisard · reddit · 2026-09-02

作者在两张 Tesla P40 上实现了高效的本地小说翻译流水线,每天可处理 2-3 本书。核心发现是分工:Gemma-4-26B-A4B 负责翻译(文笔好),Qwen3.6-35B-A3B 负责校对(修正准)。技术亮点包括使用 MTP 推测解码大幅提升速度(Gemma 40 tok/s, Qwen 50-70 tok/s),以及详细的 llama-server 启动参数调优(KV Cache q8 量化、mlock 锁内存等)。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →