未来能否在小显存 GPU 上运行 30B+ 参数的大模型？
absurdother · reddit · 2026-08-19
Reddit 用户讨论模型压缩与推理优化的前景：未来几年是否有可能在 16GB 显存等较小 GPU 上流畅运行 30B+ 参数的大模型。讨论焦点包括量化技术、架构效率提升（如 MoE）以及算力供需博弈，探讨了算力民主化的可能路径。
「Infra」频道最新
- Andrej Karpathy 发布 llm.c：纯 C/CUDA 实现 LLM 训练 — goyalshaliniuk · 2026-08-19
- Anthropic 500 亿美元算力建设显示融资非短期瓶颈 — FinanceYF5 · 2026-08-19
- Epoch AI：融资暂非前沿算力瓶颈，模式将扩至20GW — FinanceYF5 · 2026-08-19
- 5家项目公司发债151.8亿美元，建1.43GW数据中心 — FinanceYF5 · 2026-08-19
- 年入不到90亿美元，Anthropic如何撬动近500亿美元AI基建 — FinanceYF5 · 2026-08-19
- DeepSeek的「需求摧毁」降价策略，至今未见成效 — zephyr_z9 · 2026-08-19