400 美元 Tesla T4 实测 Inkling 2 Mini:22 tok/s 低功耗跑 agent
GingerTapirs · reddit · 2026-11-21
Reddit 用户为家庭机架购入约 400 美元的 Tesla T4(半高单槽、低功耗),用 IQ3XXS 量化 + q40 KV cache、128k 上下文跑 Inkling 2 Mini,实测解码约 22.3 tok/s、prefill 约 174.8 tok/s。虽然速度不惊艳,但足以胜任文档摄取、OCR、分类等轻量 agentic 工作。他还花了约 50 美元从淘宝购入带风扇的定制散热器,散热效果不错。适合想做单槽低功耗小主机的用户参考。
「Infra」频道最新
- 重庆赛力斯超级工厂:工业大脑调度 3000 台机器人造电动车 — HaydnBelfield · 2026-11-21
- 36M 参数开源工具让 LLM 本地「看」视频,CPU 即可跑 — Safe-Escape197 · 2026-11-21
- GPU 租金持续上涨:75% 利用率下 2.3-2.9 年即可回本 — BenBajarin · 2026-11-21
- 云厂商 Capex 指数级增长 vs AI 营收线性增长,市场为何不买账 — BenBajarin · 2026-11-21
- 社区把 Inkling-2-Mini 移植到单张 RTX 3090:128k 上下文、DSpark 提速 — Material_Tone_6855 · 2026-11-21
- 两年间预训练与 RL 成本骤降,开发者实测对比感叹变化 — himanshustwts · 2026-11-21