10T 参数模型推理达 1000 TPS，AGI 实力差距引猜测
legit_api · x · 2026-08-19
有推文展示 10T 参数模型实现了 1000 TPS (每秒 Token 数) 的推理速度。原博主发问，既然具备如此惊人的吞吐能力，各大 AGI 实验室还在等什么，并暗示它们当前可能正在训练更强的模型（"absolute demons"）。这可能指代技术突破或某种特定架构的实测数据。
「Infra」频道最新
- Nvidia 拟把 15 万美元 GPU 装上美国新房外墙，目标 2027 年 8 万节点 — alex_verem · 2026-08-20
- MLX Swift 推理引擎改进将移植开源，本地跑 Qwen 可直接用 LM Server — gajesh · 2026-08-20
- 算力短缺比想象更严峻，减 100% 显存也无解 — AccBalanced · 2026-08-20
- 千篇论文仅花 4 美元，DeepSeek V4 Flash 成本实测 — nutlope · 2026-08-20
- 论文实测生产级 Agent:非 LLM 组件成延迟主因 — dair_ai · 2026-08-20
- 观点：Agent 架构正趋向目录化，底层运行时成基础设施 — hwchase17 · 2026-08-20