AMD 780M 核显跑 35B 模型：千元内本地 LLM 推理新方案
MaximusSenior · reddit · 2026-08-09
Reddit 用户分享用 AMD Ryzen 7 260 等 CPU 的 780M 核显搭配 64GB DDR5 内存，在 Ubuntu 下通过 llama.cpp Vulkan 后端运行大模型的实测数据。
- 硬件成本：迷你主机约 300-400 欧元，二手 64GB DDR5 内存约 500 欧元，总价远低于 1000 欧元。
- 通过内核参数 amdgpu.gttsize=49152 等将系统内存映射为显存，获得约 48GB "VRAM"。
- 性能实测（Q8 量化）：Qwen 3.6 35B-A3B 生成速度约 21 tokens/s；Gemma 4 31B 约 2.5 tokens/s，但启用 MTP 后可达 5.76 tokens/s。
- 额外技巧：搭配小独显（如 RTX 5060 8GB）可进一步提升 MoE 模型的生成速度。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16