5060 Ti 本地跑 Qwen3 达 50 tok/s
Azazelionide · reddit · 2026-07-11
作者在 RTX 5060 Ti（16GB 显存）上做了本地推理实验，使用自定义的 CUDA 和 C++ 代码，把 Qwen3-30B-A3B 跑到 50–54 tok/s（float8）。
- 这个速度比 llama.cpp 约 33–34 tok/s 更快，提升约 50%。
- 作者称这些加速主要来自从 NeurIPS、ICML、EuroSys 论文里看到的 SOTA 思路组合。
- 观点是：这类引擎会带来新的本地推理机会，让消费级硬件在私密性、成本和“更绿色”方面相对中心化数据中心更有优势。
「Infra」频道最新
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26
- Meta 拟发售至多 950 亿美元股票为 AI 基建输血 — The Decoder · 2026-10-26