开发者吐槽堆 GPU 路线:DeepSeek 用效率取胜,1M 上下文不到 1GB 内存
gnukeith · x · 2026-11-22
开发者 gnukeith 吐槽当前「算力堆料」路线:遇到问题就买 80 张 GPU、上下文不够就等 900 张 GPU 到货,这种做法对集中持有算力的大实验室有利,但缺乏必要约束。他认为 DeepSeek 走的是相反路线——让基础模型足够聪明同时极其高效。
他特别称赞 DeepSeek 的内存效率:100 万 token 上下文只需不到 1GB 内存,无论自部署还是 neocloud 都是巨大的扩展优势。他还嘲讽本地 AI 社区里有人把大模型塞进单卡却只展示 256 token 上下文窗口——「塞一句话就要压缩了」。
所属事件:开发者吐槽算力堆料路线,盛赞 DeepSeek 效率取胜(2 条相关)→
「Infra」频道最新
- 一边喊 GPU 过剩一边租不到便宜卡:讽刺帖戳破算力泡沫叙事 — generativist · 2026-11-23
- Strata 0.2.19 本地跑 Inkling 2 Mini,RTX 5090 输出超 4000 tokens/s — CurieuxExplorer · 2026-11-23
- 联想企业 AI 基础设施收入暴增 200%,超过云厂商增速,在手订单 800 亿美元 — shashib · 2026-11-22
- 开发者开源 Wiretok:本地只读监控 Antigravity 压缩余量与 API 花费 — phosphorhouse · 2026-11-22
- 12GB 显存的 4070 SUPER 跑起 61GB 无量化 BF16 30B 模型,速度提到 0.8 tok/s — Ill-Organization-38 · 2026-11-22
- 马斯克详解 Tesla 车内实时世界模型:约 1B 参数 diffusion 每秒 36 帧 — flngr · 2026-11-22