POCKET-35B 宣称可 CPU 跑到 59 tok/s，手机也能本地运行
Powerful_Evening5495 · reddit · 2026-07-26
POCKET-35B 被定位为一款能在 PC 甚至手机上本地运行 的 35B 模型，主打 无需 GPU、直接用 stock llama.cpp，也不需要 CUDA 或云端环境。
- 提供多种量化/版本：21 GB 的 Q4、13 GB 的 Q2、8.2 GB 的 IQ1 等
- 覆盖从 32 GB 内存电脑到 Android、iPhone/iPad/Mac 的不同设备
- 帖子强调其 CPU-only 速度可达 59 tok/s，并给出面向韩语/英语的不同构型
「Infra」频道最新
- 他们用 140 美元一天分析了 100 万个视频的上下文 — eptwts · 2026-07-26
- ASML 的 EUV 设备让欧洲在 AI 竞赛中仍有底牌 — kimmonismus · 2026-07-26
- 组合 MCP 服务器整合 Redshift 查询与 S3 语义搜索 — modelcontextprotocol · 2026-07-26
- GitHub 为内部 Git 基础设施关键漏洞支付 10 万美元 — sharpeye_wnl · 2026-07-26
- 长鑫科技 DRAM 份额升至 7.67%，冲击全球第四极 — 量子位 · 2026-07-26
- 本地跑模型，64GB M4 Max MacBook Pro 值得买吗 — guyastronomer · 2026-07-26