万亿参数之后的推理难题：宽度、深度与百万上下文
philipkiely · x · 2026-10-20
作者指出，把模型 scaling 到万亿参数以上，推理工程师必须解决三类问题：
- 宽度：在数百个稀疏专家之间做路由；
- 深度：混合全局与局部线性注意力；
- 长度：处理百万级 token 序列。
他请 Ali 和 Bryce 把这些架构思路画成了图解，并附上了链接。
「Infra」频道最新
- 买整机比单买卡便宜：Dell 工作站配 RTX Pro 6K 售价反低于裸卡 — Sentdex · 2026-10-20
- 液冷泄漏可让整个 AI 工厂停摆数日,专家吁跨域遥测关联与拓扑级根因分析 — ai · 2026-10-20
- 中国拟新增40项技术出口管制:23项涉AI — pstAsiatech · 2026-10-20
- Stripe 详解 Agent 辅助反欺诈：更全的历史数据是提召回关键 — emilygsands · 2026-10-20
- Stripe 用 Agent 跑机器学习实验，为商家年堵数千万美元欺诈 — emilygsands · 2026-10-20
- Google Cloud 提出 Agent Substrate：挂起/恢复成智能体核心原语 — rseroter · 2026-10-20