400 美元 Tesla T4 实测 Inkling 2 Mini:22 tok/s 低功耗跑 agent

GingerTapirs · reddit · 2026-11-21

Reddit 用户为家庭机架购入约 400 美元的 Tesla T4(半高单槽、低功耗),用 IQ3XXS 量化 + q40 KV cache、128k 上下文跑 Inkling 2 Mini,实测解码约 22.3 tok/s、prefill 约 174.8 tok/s。虽然速度不惊艳,但足以胜任文档摄取、OCR、分类等轻量 agentic 工作。他还花了约 50 美元从淘宝购入带风扇的定制散热器,散热效果不错。适合想做单槽低功耗小主机的用户参考。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →