明年 8-10T 参数模型扎堆,本地还能跑得动前沿大模型吗
power97992 · reddit · 2026-10-01
Reddit 用户讨论:DeepSeek 透露将发布 8T 参数模型,Qwen 计划 10T,Kimi 可能跟进;flash 级模型预计在 1-2T 参数。
作者估算,要本地跑一个 4.4bit 量化的 8T 模型并保留完整上下文,大约需要 9 台 512GB 的 M5 Ultra 或 48 张 RTX 6000 Pro。结论是:未来只有公司、云厂商和富人能跑旗舰模型,普通用户本地跑 4.4bit 的 1T flash 模型都会吃力,更多人会转向 Qwen 5 27B 这类小模型或直接用云。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16