双 P40 跑通本地图书翻译:Gemma 译 Qwen 改
neowisard · reddit · 2026-09-02
作者在两张 Tesla P40 上实现了高效的本地小说翻译流水线,每天可处理 2-3 本书。核心发现是分工:Gemma-4-26B-A4B 负责翻译(文笔好),Qwen3.6-35B-A3B 负责校对(修正准)。技术亮点包括使用 MTP 推测解码大幅提升速度(Gemma 40 tok/s, Qwen 50-70 tok/s),以及详细的 llama-server 启动参数调优(KV Cache q8 量化、mlock 锁内存等)。
「编程与Agent」频道最新
- Anthropic 称 MCP 协议 SDK 月下载量达数亿 — emmanuelvivier · 2026-09-02
- 图表驱动开发会借 LLM 复活吗?Reddit 讨论 vibe coding 可视化新路 — JBO_76 · 2026-09-02
- AIR 筹集 5000 万美元用于审计 AI 智能体 — emmanuelvivier · 2026-09-02
- ICTFax-MCP:让 AI Agent 自动发送并追踪传真 — ictinnovations · 2026-09-02
- Yegge:再聪明的模型也会写出自己维护不了的系统 — jimmykoppel · 2026-09-02
- 开源 Claude 技能自动扫描全网,生成现成可用 Prompt — bigaiguy · 2026-09-02