Gemma 4 12B 本地实测：RTX 5080 笔记本预填充 1937 tok/s
draginol · x · 2026-10-19
draginol 公布 Gemma 4 12B（it, Q4KM GGUF，45K 上下文）在笔记本上的本地推理成绩：NVIDIA RTX 5080 Laptop GPU + Intel Core Ultra 7 255HX、31GB 内存、Windows 环境。
- 预填充：8K 上下文下 1,937 tok/s
- 解码：49.6 tok/s
- 首 token 延迟：1K prompt 下 842ms
- 准确率：80 题全对（100%）
他表示之后会把各模型的结果汇总在一起。
所属事件:RTX 5080 游戏本实测本地大模型：27B 受限显存解码仅 9 tok/s(4 条相关)→
「Infra」频道最新
- DeepInfra 回忆录：B200 租金降到 $1.49/小时仍无人问津 — gharik · 2026-10-19
- SK 海力士谈 HBF:带宽约为 HBM 一半,容量高出 14 倍 — Beth_Kindig · 2026-10-19
- 从业者：KV cache 压缩已让 1M 上下文可控,年内应见 2.5M 模型 — khademinori · 2026-10-19
- 马斯克发帖吐槽：租 AI 算力到底是一种什么体验 — elonmusk · 2026-10-19
- 系列博客开篇：图解 Tensor Core 的算术原理 — akbirthko · 2026-10-19
- 周报盘点：五家厂商在五个层级给 Agent 加控制，桌面 AI 最受关注 — shashib · 2026-10-19