明年 8-10T 参数模型扎堆,本地还能跑得动前沿大模型吗
power97992 · reddit · 2026-10-01
Reddit 用户讨论:DeepSeek 透露将发布 8T 参数模型,Qwen 计划 10T,Kimi 可能跟进;flash 级模型预计在 1-2T 参数。
作者估算,要本地跑一个 4.4bit 量化的 8T 模型并保留完整上下文,大约需要 9 台 512GB 的 M5 Ultra 或 48 张 RTX 6000 Pro。结论是:未来只有公司、云厂商和富人能跑旗舰模型,普通用户本地跑 4.4bit 的 1T flash 模型都会吃力,更多人会转向 Qwen 5 27B 这类小模型或直接用云。
「Infra」频道最新
- 美光FQ4营收542亿同比增379%，下季指引615亿再创纪录 — Beth_Kindig · 2026-10-01
- 微软 Foundry 系列开篇：模型越强，内容抽取层越不可省 — adnan_hashmi · 2026-10-01
- 美光季度营收近翻四倍至542亿美元，大超市场预期 — Polymarket · 2026-10-01
- 坐拥 TPU 却算力饥荒：Google 内部各团队抢算力乱象盘点 — zacharynado · 2026-10-01
- 美光：2026 年 12 月起提高股东回报，逐步返还全部超额现金 — firstadopter · 2026-10-01
- 前 OpenAI 政策副总裁:算力已分化成三个等级鸿沟持续拉大 — Miles_Brundage · 2026-10-01