零显存笔记本 24 分钟跑 Qwen3.6-35B 生成塞尔达式 RPG
ML-Future · reddit · 2026-09-03
作者在一台仅 i3 CPU、8GB 内存、0GB 显存的 Windows 11 笔记本上，用 llama.cpp 的重度量化版本 Qwen3.6-35B-A3B-IQ2XXS GGUF 本地运行模型，并给出完整启动命令（含 q80 KV cache、-ngl 0、--reasoning off 等参数）。用一段「生成类塞尔达 2D RPG」prompt，24 分钟以 3 token/s 的速度产出可玩的单 HTML 文件小游戏。结论：2026 年没钱买 GPU 也依然能本地跑大模型干正事。
「Infra」频道最新
- 企业 token 支出增速从 42% 骤降至 0.2%,超大规模厂商 ROIC 跌至 20% — SumitGup · 2026-10-21
- 高通全球裁员转战 AI 数据中心：目标 2027 年 50 亿美元营收 — rohanpaul_ai · 2026-10-21
- vLLM 登台 PyTorchCon 2026：跨 TPU、AMD、NVIDIA 优化 KV cache 与内核 — PyTorch · 2026-10-21
- antirez 尝试用 DeepSeek Infer 为 DGX Spark 优化 DwarfStar 内核 — antirez · 2026-10-21
- 三进制 2-bit 端侧模型 Ternary-Bonsai-2-9B 上架 HF,支持视觉输入 — prism-ml · 2026-10-21
- GPU 管预填、Positron 管解码:异构推理组合瞄准内存带宽瓶颈 — cneuralnetwork · 2026-10-21