越狱 Kindle Scribe 跑起 GPT-2:4-bit 量化下实测约 13 token/s
thesephist · x · 2026-10-25
开发者把 124M 参数的 GPT-2 玩出了新花样:在一台越狱后的 Kindle Scribe 上跑本地推理,4-bit 量化下达到约 13 token/s 的真实速度。
这类「在完全不是为推理设计的设备上跑 LLM」的极客玩法,展示了小模型 + 量化 + 硬件破解组合的可能性,对端侧/嵌入式部署爱好者很有参考价值。
「Infra」频道最新
- 10 个开源 AI 网关项目盘点:一个 API 接入所有模型 — victor_explore · 2026-10-25
- 黄仁勋力挺 GrokBot:需求正在飙升,还想和马斯克把数据中心送上太空 — elonmusk · 2026-10-25
- 实测：Agent 框架缓存命中率差 7 倍，一次缓存未中能耗翻倍 — bibryam · 2026-10-25
- kalomaze 自嘲没 GPU 可用，只能跑 toy baseline 过瘾 — yacineMTB · 2026-10-25
- 30GB 的本地语音模型算赢吗？作者质疑零延迟价值 — NickPassig · 2026-10-25
- Blackstone CEO：2015 年马云一席话让公司成全球最大数据中心持有者 — pstAsiatech · 2026-10-25