RTX 4070 Ti SUPER 跑出 125 token/s,本地 LLM 编码 agent 实战攻略
ievkz · reddit · 2026-10-27
作者基于市占 27.21% 的 16GB 显卡(RTX 4070 Ti SUPER,约 $900),实现了 125 token/s 的本地编码 agent 工作流。
关键技巧:
- 模型选择:Tiel-Coder-35B-A3B(及其 uncensored 版 Cyber-Tiel-Coder),采用 MTP 多 token 预测(提速约 20%)+ MoE 架构(提速 200-450%),配合优化 Jinja chat 模板减少 59% 推理 token
- 轻量 agent:弃用 Codex/Claude Code(系统提示就吃 1-1.4 万 token),改用仅需 1500 token 的 Pi 编码 agent,并给出 models.json 完整配置(LM Studio 后端)
- 小上下文应对:只给 65535 token 上下文,先用 /new 会话让 agent 生成 plan.md 再动手,避免大改动挤爆上下文
「编程与Agent」频道最新
- Compound Engineering 3.33.0 发布:PR 工作流升级,专治 agent 越界 — kieranklaassen · 2026-10-27
- Lovable 月调 7536 亿次 Workers,从 Next.js 迁至 TanStack Start — ritakozlov · 2026-10-27
- Harness Lens 收录 30 个开源编码 Harness,现已开放提交 — yb2698 · 2026-10-27
- 用模式语言设计 agent 界面：在语法与名词动词层级做抽象 — DanGrover · 2026-10-27
- 微软 Foundry 托管 agent 拥有独立邮箱与组织架构身份 — marlene_zw · 2026-10-27
- 36 个 AI 评审 36:0 一边倒：单会话技能架构胜过 Superpowers — Kai_ThoughtArchitect · 2026-10-27