开发者吐槽堆 GPU 路线:DeepSeek 用效率取胜,1M 上下文不到 1GB 内存

gnukeith · x · 2026-11-22

开发者 gnukeith 吐槽当前「算力堆料」路线:遇到问题就买 80 张 GPU、上下文不够就等 900 张 GPU 到货,这种做法对集中持有算力的大实验室有利,但缺乏必要约束。他认为 DeepSeek 走的是相反路线——让基础模型足够聪明同时极其高效。

他特别称赞 DeepSeek 的内存效率:100 万 token 上下文只需不到 1GB 内存,无论自部署还是 neocloud 都是巨大的扩展优势。他还嘲讽本地 AI 社区里有人把大模型塞进单卡却只展示 256 token 上下文窗口——「塞一句话就要压缩了」。

所属事件:开发者吐槽算力堆料路线,盛赞 DeepSeek 效率取胜(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →