5060Ti 跑出 75 tok/s：Basalt 让老显卡本地跑大模型
ironicstatistic · reddit · 2026-10-15
一位 Reddit 用户分享了使用 Basalt（专为 Blackwell 硬件优化的 Strata 分支，作者 jesdga95）的经验：在仅有 RTX 5060 Ti 16GB + 32GB 内存的系统上，以 Q2 量化模型 + Q4 KV cache 跑出了 128k 上下文下约 75 tok/s 生成、1200 tok/s prefill 的成绩，可作专用编码 agent 使用。
作者还提到开发者曾在评论区主动帮助他调优，最后靠让 DeepSeek 改代码加了一个分配更多内存的编译选项才成功跑通。项目开源于 GitHub。
「编程与Agent」频道最新
- Figma 发力设计转开发：新工作流打通代码与编程 Agent 协作 — abhi9u · 2026-10-15
- Figma Make 推出 Specs 与 Payload 集成,打通设计到交付 — abhi9u · 2026-10-15
- Figma Specs:画布选区一键生成给编码 agent 的实现规格 — abhi9u · 2026-10-15
- Figma Make 集成开源 CMS Payload,建站自带后端 — abhi9u · 2026-10-15
- Figma 发布 Code layers 与 Specs,设计师工具开始面向开发者 — abhi9u · 2026-10-15
- Weaviate Query Agent 上线原生 MCP server,一个 URL 即可接入 — CShorten30 · 2026-10-15